(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210594873.4 (22)申请日 2022.05.27 (71)申请人 大连海事大学 地址 116026 辽宁省大连市高新园区凌海 路1号 (72)发明人 章文俊　赵常九　牟聪瑞　岳敬文　 吕红光　王庆武　杨雪　孟祥坤　 周翔宇　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 高意　李洪福 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/59(2022.01) G06V 20/40(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于yolo-v4的船员驾驶台不安全行为 识别方法、 系统及存 储介质 (57)摘要 本发明提供一种基于yolo ‑v4的船员驾驶台 不安全行为识别方法， 包括： 根据事故报告、 IMO 规则、 船公司体系文件和船长的经验， 确定船员 驾驶台不安全行为的类别； 以 “育鲲”轮和“长江 叁号”邮轮的驾驶台以及航海模拟器作为采样地 点， 采用摄像头采集三个采样地点船员工作状态 的视频数据； 将采集的视频数据分别成图片， 获 取不安全行为图像数据； 制作船员驾驶台不安全 行为数据集； 构建YOLOv 4‑ghostnet网络模型； 将 制作的数据集放到构建的YOL Ov4‑ghostnet网络 模型中进行训练， 选取并保存损失值最低的权值 文件； 将构建的模型和保存的权值文件集成到船 员预警平台中， 模型将检测出船员的不安全行 为， 并发出预警信号。 本发明可 以对船员进行实 时的提醒， 降低海事事故的发生概率， 保障船舶 安全。 权利要求书2页 说明书7页 附图4页 CN 114926782 A 2022.08.19 CN 114926782 A 1.一种基于yo lo‑v4的船员驾驶台不 安全行为识别方法， 其特 征在于， 包括如下步骤： S1、 根据事故报告、 IMO规则、 船公司体系文件和船长的经验， 确定船员驾驶 台不安全行 为的类别； S2、 以“育鲲”轮和“长江叁号 ”邮轮的驾驶台以及航海模拟器作为采样地点， 采用摄像 头采集三个采样地 点船员工作状态的视频 数据； S3、 将步骤S2中采集的视频 数据分别成图片， 获取不 安全行为图像数据； S4、 制作船员驾驶台不 安全行为数据集； S5、 构建YOLOv4 ‑ghostnet网络模型； S6、 将步骤S4中制作的数据集放到步骤S5中构建的YOLOv4 ‑ghostnet网络模型中进行 训练， 选取并保存损失值 最低的权值文件； S7、 将步骤S5中构建的模型和步骤S6中保存的权值文件集成到船员预警平台中， 模型 将检测出 船员的不 安全行为， 并发出 预警信号。 2.根据权利要求1所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述步骤S1中， 船员驾驶台不安全行为的类别包括脱岗离 岗、 吸烟、 闲聊、 疏忽瞭望、 睡 觉、 疲劳、 玩手机七类不 安全行为。 3.根据权利要求1所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述步骤S2中， 采用航海模拟器进行模拟驾驶实验的场景包括进出港、 靠泊、 船舶会遇 与追越以及大雾、 大雨能见度不良的情况。 4.根据权利要求1所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述步骤S3中， 获取不 安全行为图像数据的具体实现过程如下： 选取获取的三部分视频中具有明显不 安全行为特 征的视频 段， 将其逐帧分解成图像； 为了避免图像相似度过高而导致的训练局限性， 每隔五帧选取一张图片进入到数据集 中。 5.根据权利要求1所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述步骤S4中， 制作船员驾驶台不 安全行为数据集的具体过程如下： 将三个采样地点采集的船员工作状态视频数据进行分类合并， 每一类别的不安全行为 图像均采集3 000张真实有效的图像， 并对图像进行 标注； 将标注好的图片随机按照1∶9的比例划分为测试集和训练集。 6.根据权利要求5所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述标注的方法具体为： 采用图片标注工具labelimg标注出每一个照片中的不安全行为， 并保存其中的标注位 置坐标信息和标注标签信息 到xml文件中。 7.根据权利要求1所述的基于yolo ‑v4的船员驾驶台不安全行为识别方法， 其特征在 于， 所述步骤S5中， 构建YOLOv4 ‑ghostnet网络模型的具体过程如下： 首先构建ghostnet网络， 将ghostnet作为YOLOv4的主干网络， 用于特征提取； 将YOLOv4 的CSPDarknet53特征金字塔改进为Ghostnet， 整个Ghostnet 都是由Ghost  Bottlenecks组 成的， 具体地， 操作步骤如下： 将一张416 ×416的图片输入到Ghostnet中， 获得一个16通道的普通1 ×1卷积块， 包括 卷积、 标准 化、 激活函数；权　利　要　求　书 1/2 页 2 CN 114926782 A 2进行Ghost  Bottlenecks的堆叠， 利用Ghost  Bottlenecks获得一个7 ×7×160的特征 层； 利用一个1 ×1的卷积块进行通道数的调整， 获得一个7 ×7×960的特征层； 进行全局平均池化， 再利用一个1 ×1的卷积块进行通道数的调整， 获得一个1 ×1× 1280的特 征层； 将所有特 征层平铺后进行全连接， 最后在进行分类。 8.一种船员不安全行为监测平台系统， 其特征在于， 所述船员不安全行为监测平台系 统内嵌所述权利要求1 ‑7中任意一项所述基于yo lo‑v4的船员驾驶台不 安全行为识别方法。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 所述程序运行时， 执行所述权利要求1至7中任一项权利要求所述的方法。权　利　要　求　书 2/2 页 3 CN 114926782 A 3