(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765006.2 (22)申请日 2022.06.29 (71)申请人 郑州轻工业大 学 地址 450000 河南省郑州市高新 技术产业 开发区科 学大道136号 (72)发明人 王昊琪　吕林东　李旭鹏　李浩　 文笑雨　张玉彦　叶国永　孙春亚　 刘根　谢贵重　刘俊　聂福全　 (74)专利代理 机构 北京哌智科创知识产权代理 事务所(普通 合伙) 11745 专利代理师 张元媛 (51)Int.Cl. G06Q 10/06(2012.01) G06V 20/52(2022.01) G06V 20/00(2022.01)G06V 10/764(2022.01) G06T 13/40(2011.01) G06T 15/00(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/04(2012.01) (54)发明名称 一种基于数字孪生车间混合数据集的不安 全状态检测方法 (57)摘要 本发明提出了一种基于数字孪生车间混合 数据集的不安全状态检测方法， 其步骤如下： 对 生产制造 车间工人不安全状态进行分类， 根据实 际工人不安全状态类型， 在数字孪生的虚拟车间 中对这些不安全状态进行仿真， 作为深度学习的 虚拟数据集， 再通过摄像头获取到真实车间工人 不安全状态作为真实数据集； 将收集到的虚拟数 据集和真实数据集进行混合， 通过标注工具对真 实数据集合标注和自动标注脚本对虚拟数据集 标注， 再放到目标检测的网络中训练， 生成基于 虚实混合数据集的权值文件； 将训练好的权值文 件放入到目标检测网络中对车间不安全状态进 行检测； 实现在线可视化监控车间工人在车间工 作时的安全。 本发明利用虚实混合数据集训练模 型， 实时检测车间工人不安全状态， 能够减少车 间工人不安全状态的发生， 保障了车间生产工人 在车间生产过程的安全。 权利要求书2页 说明书9页 附图6页 CN 115169855 A 2022.10.11 CN 115169855 A 1.一种基于数字孪生车间混合数据集的不安全状态检测方法， 其特征在于， 其步骤如 下： S1， 对车间生产现场不安全状态进行分类整理， 根据物理空间中实际车间生产现场的 人员、 装备、 物料、 环 境情况， 对生产现场不安全状态进 行分类， 在分类的过程中不存在种类 冲突和重复的情况； S2， 根据实际工人不安全状态类型， 在数字孪生的虚拟车间中对这些不安全状态进行 仿真， 得到 仿真动画； S3， 通过车间监控摄 像头获取到车间工人不 安全状态视频； 在制造车间安装支持SDK二次开发的摄像头， 通过摄像头自带的录制功能， 将真实车间 生产过程的场景进行录制， 通过Adobe  Premiere  Pro视频剪辑软件将 录制的车间工人不安 全状态视频剪辑， 在车间现场监控视频剪辑的过程中， 根据车间制 造工人不安全状态的分 类来进行剪辑， 根据分类将录制的视频剪辑成一段一段视频， 方便以后真实数据集的制作； S4， 根据车间现场的实际环境对所建立的仿真动画进行调整， 包括光线、 背景、 遮挡、 采 样参数、 模型参数， 以增 加仿真动画的逼真度和丰富 性； S5， 通过建立的仿真动画制作车间现场工人不 安全状态的高逼真虚拟数据集； S6， 通过车间监控摄 像头获取到的视频， 制作车间现场工人不 安全状态真实数据集； S7， 将虚拟数据集和真实数据集 合相互结合， 生成虚实混合数据集； S8， 使用混合数据集对 模型进行训练并将迭代训练的模型进行目标检测算法的评估； S9， 将训练好的模型应用到物理 空间的制造车间真实场景中进行检测。 2.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S1中， 所述分类包括不安全 行为类、 不规范穿戴类、 车间内存在对象闯入类； 对于不安全行为类， 细分为工人在车间奔跑、 工人在车间不小心跌倒、 工人在车间内跳跃、 工人在车间内长时间聊天、 工人在车间内接 打电话、 工人长时间疲劳工作； 对于不规范穿戴 类， 细分为工人未按规定佩戴安全帽、 工人未按规定穿戴工装、 工人未按规定佩戴手套等； 对于车间内存在 对象闯入类， 又可以细分为工人进入危险区域、 非车间内工人进入车间、 非 车间内物体进入车间。 3.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S2具体为： S2.1， 首先采用SolidWorks三维软件建立出车间的虚拟模型， 包括人物模型， 仪器模 型、 物料模型， 并将模型保存为step214格式， 便 于保存模型的各种材质； S2.2， 将导出的Step214文件通过3Dmax软件打开， 对模型进行修补， 包括一些破面的修 改， 坐标轴和距离单元的修改， 之后将文件保存为后缀名为.FBX的文件， 以保证文件在 Unity3D中能够顺利打开； S2.3通过脚本控制Un ity3D中摄 像头获取到 仿真动画。 4.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S5具体为： S5.1， 根据车间现场的实际环境， 在Unity3D中建立对应 的仿真动画， 包括工人、 物料、 机器人等静态模型， 在Un ity3D中， 通过使用C #脚本移动虚拟对象来激活静态场景； S5.2， 使用C #脚本控制虚拟摄 像机移动和捕获图像；权　利　要　求　书 1/2 页 2 CN 115169855 A 2S5.3， 使用Unity3D中的C#脚本和着色器计算边界框和语义分段等注释， 获取到虚拟数 据集的标注。 5.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S6具体为： S6.1， 利用车间监控摄像头拍摄的视频， 进行视频取帧， 将视频制作成一帧一帧格式统 一、 像素大小相同的图片； S6.2， 对视频取帧产生的图片进行预处理， 在采集的数据集中尽量保证目标检测不同 类之间样本平衡(即各个目标检测的类在数据中出现的次数相差不大)， 同时要保证采集数 据的质量， 对于过于模糊、 遮挡严重等情况的数据集图片进 行删除， 对于数据集中目标的大 小需要根据具体场景来确定最佳大小， 在保证上述要求下， 还需要保证采集到的数据集的 多样性， 采集场景中自然状态的图片； S6.3， 将需要标注的数据集根据S1中不安全状态进行文件划分， 分别作为不同的数据 集， 放入网络中训练生成不同的预测模型； S6.4， 利用LabelImg软件对收集到的数据集进行标注， 对于图片中需要检测到 的不同 目标进行标注， 框出图像中目标信息， 每标注一张图片会自动生成图片对应的同名XML文 件， XML文件内容包括图片中目标物体在整个图片的位置信息和目标物体的类别， 即数据集 的标注文件。 6.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S 8具体为： S8.1， 将数据集划分为训练集、 验证集和 测试集； S8.2， 将划分好的数据集， 放入到Pytorc h框架下的Yo lov4网络中训练； S8.2.1， 根据划分好的数据集进行 前向传播； S8.2.2， 根据前向传播得到当前参数 下的损失函数， 进行损失计算； S8.2.3， 根据计算的损失进行反向传播； S8.3， 计算每 轮训练的训练损失值和 测试损失值， 并进行 学习率的更新； S8.4， 将10 0次迭代训练的模型进行目标检测算法的评估； S8.5， 训练结束得到可以检测不同类别的模型。 7.如权利要求1所述的一种基于数字孪生车间混合数据集的不安全状态检测方法， 其 特征在于， 步骤S9具体为： S9.1， 利用Yo loV4目标检测算法和OpenPose对工人在车间内接打电话进行检测； S9.2， 将S8对不同数据集训练好的不同模型放入到物理空间的制造车间真实场景中 去， 在UI界面 根据自身不同需求调用不同的模型； S9.3， 将摄像头的视频流中获取帧画面传输到模型中进行预测， 根据调用不同的模型， 反馈检测结果， 当车间工人不存在不安全状态时， 制造生产车间正常生产； 当车间工人存在 不安全状态时， 根据安全等级实施多策略安全管控。权　利　要　求　书 2/2 页 3 CN 115169855 A 3