(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210531062.X (22)申请日 2022.05.16 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区黄河 大道136号科技中心1号楼 申请人 山东大学　 青岛海尔智能技 术研发有限公司 (72)发明人 尹建华　李毅仁　聂礼强　李玉涛　 王晔　郝亮　王婧雯　宋媛媛　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉感知的无人天车作业区域安 全检测方法 (57)摘要 本发明公开了一种基于视觉感知的无人天 车作业区域安全检测方法， 涉及工业生产技术领 域。 该检测方法通过对钢厂实际场景图片的标注 获取专用的数据集， 并用该数据集对目标检测模 型进行进一步的微调， 优化了目标检测模型在钢 厂这种特殊场景下对工作人员的识别效果， 此外 本发明将 重叠判断算法与目标检测模 型相结合， 使得目标检测程序能够判断出被识别的人员 是 否处在工作区域中， 从而进一步判断当前是否是 防止钢卷的合适时机， 有效防止了无人天车在工 作区域有工人作业时将钢卷下放而产生的安全 隐患， 也为钢厂的工人提供了较为安全的工作环 境。 权利要求书3页 说明书6页 附图1页 CN 114821444 A 2022.07.29 CN 114821444 A 1.一种基于视觉感知的无人天车作业区域安全检测方法， 其特征在于： 所述安全检测 方法包括以下步骤： S1： 对收集到的钢厂内部工作区域及其附近的视频进行抽帧处理， 获取用于对目标检 测模型进行优化的专用数据集； S2： 基于目标识别模型yolo进行优化， 在已经加载预训练权重的yolo模型的基础 上， 用 收集到的专用数据集进行微调； S3： 设计区域划分程序， 在一张从视频中抽取的图片上用一个多边形划定作业区域， 并 保存作业区域各个边的斜 率以及顶点； S4： 在目标检测模型中加入重 叠判断模块； S5： 当无人天车要将钢卷放置到工作区域时， 摄像头端从实时的视频流中抽取若干张 图片传送到服 务器端， 由服 务器端进行工作区域的人员检测。 2.根据权利要求1所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S1进一 步的包括以下步骤： S11： 对钢厂的监控视频数据进行分析和筛选， 截取包含人员较多以及人员姿态种类较 多的视频片段； S12： 对截取的视频片段进行抽帧处 理， 获取钢厂特定场景 下的图像数据； S13： 利用标记工具对获取的图像数据进行标记， 生成yolo格式的标注文件， 为了使后 续的重叠判断更加准确， 标注框尽量贴近 工作人员的外轮廓。 3.根据权利要求1所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S2包括以下步骤： S21： 本发明 的目标检测模型基于yolov4模型进行改进， 使用CSPDarkNet53作为特征提 取的主干网络， DarkNet53由Resblock_body模块组合而成， 而Resblock_body模块则由一次 下采样和多次残差结构的堆叠构成， 而CSPDarkNet53则在DarkNet53的基础上将激活函数 由LeakyRelu修改为Mish， Mish的公式如下： Mish＝x×tanh(ln(1+ex)), 此外， CSPDarkNet53还将Dark Net53中的Resbl ock_body修改为CS Pnet结构； S22： 在特征金字塔部分， 目标检测模型同时使用了S PP结构和PANet结构。 4.根据权利要求3所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S2进一 步的包括以下步骤： S23： 在特 征利用部分， 该模型提取三个特 征层进行目标检测； S24： 损失函数的计算如下：权　利　要　求　书 1/3 页 2 CN 114821444 A 2S25： 将在voc数据集上 预训练得到的权 重加载到yo lo网络模型中； S26： 利用对钢厂图片进行标注得到的新数据集对加载预训练权重后的yolo模型进行 微调， 直至模型收敛并保存参数， 即可用来进行 人员检测。 5.根据权利要求1所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S4进一 步的包括以下步骤： S31： 从钢厂的监控视频中抽取一帧图片； S32： 利用python的pyl ab库在抽取的这张图片上用鼠标按照多边形顶点的顺序进行取 点， 从而获取工作区域所对应的多边形的顶点 坐标； S33： 利用这些顶点坐标计算出多边形每条边的斜率和截距， 并将斜率、 截距和顶点坐 标保存在一个txt文件中， 便 于后续目标检测程序读取工作区域的范围。 6.根据权利要求1所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S4包括以下步骤： S41： 在目标检测程序中加入工作区域读取模块， 指定工作区域对应的txt文件， 从txt 文件中读取工作区域对应的多边形的每条边的斜 率和截距以及各个顶点的坐标； S42： 使用目标检测的Bounding  Box的下面两个顶点来表示检测到的人员的脚部位置， 从而把判断人员 与工作区域的重叠转化为了判断Bounding  Box下面两个顶点是否至少有 一个在工作区域所对应的多边形中， 因此还要在目标检测程序中加入判断点与多变形位置 关系的函数。 7.根据权利要求6所述的一种基于视觉感知的无人天车作业区域安全检测方法， 其特 征在于： 所述S4进一 步的包括以下步骤： S43： 设计重叠判断函数， 将Bounding  Box的下面两个顶点分别输入到S42中 的函数， 只权　利　要　求　书 2/3 页 3 CN 114821444 A 3