(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481923.8 (22)申请日 2022.05.05 (71)申请人 北京容联易 通信息技 术有限公司 地址 100000 北京市朝阳区广顺北 大街33 号院1号楼13层一单 元1601室 (72)发明人 朱新潮　曾国卿　许志强　孙昌勋　 刘佳宁　李威　杨坤　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 田春龙 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/82(2022.01) G06V 10/25(2022.01) (54)发明名称 一种基于视频智能分析的工序流程检测方 法及系统 (57)摘要 本发明提供了一种基于视频智能分析的工 序流程检测方法及系统。 该基于视频智能分析的 工序流程检测方法， 包括： 步骤1： 利用机器视觉 目标检测算法， 检测图像中的感兴趣目标和感兴 趣目标对应的跟踪主体； 步骤2： 基于流水线工序 流程， 对所述跟踪主体进行目标跟踪； 步骤3： 基 于检测结果以及目标跟踪结果， 计算所述跟踪主 体与所述感兴趣目标之间的几何关系； 步骤4： 根 据所述几何关系， 判断所述 感兴趣目标是否应装 配于所述跟踪主体上。 通过检测关键物体的存在 性及物体 之间的几何关系， 确认工作人员的各个 流程动作是否实施到位、 准确。 权利要求书3页 说明书10页 附图3页 CN 114821478 A 2022.07.29 CN 114821478 A 1.一种基于 视频智能分析的工序流 程检测方法， 其特 征在于， 包括： 步骤1： 利用机器视觉目标检测算法， 检测图像 中的感兴趣目标和感兴趣目标对应的跟 踪主体； 步骤2： 基于流水线工序流 程， 对所述跟踪 主体进行目标跟踪； 步骤3： 基于检测结果以及目标跟踪结果， 计算所述跟踪主体与所述感兴趣目标之间的 几何关系； 步骤4： 根据所述几何关系， 判断所述感兴趣目标 是否应装配于所述跟踪 主体上。 2.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 所 述步骤1： 利用机器视觉目标检测算法， 检测图像中的感兴趣目标和感兴趣目标对应的跟踪 主体， 具体步骤 包括： 步骤1.1： 收集现场工作监控数据， 获取感兴趣目标和对应的跟踪主体， 并对所述感兴 趣目标以及对应跟踪 主体的生产时数据进行 标注， 获得 标注数据； 步骤1.2： 利用标注数据， 训练目标检测模型， 得到最终目标检测模型； 步骤1.3： 将所述最终目标检测模型进行部署， 读取现场监控图像后， 送入所述最终目 标检测模型推理计算， 得到所述感兴趣目标和跟踪 主体的第一检测结果。 3.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 所 述步骤2： 基于流水线工序流 程， 对所述跟踪 主体进行目标跟踪， 具体步骤 包括： 步骤2.1： 根据跟踪 主体的第一轮廓信息以及位置信息， 创建相应的跟踪器； 步骤2.2： 利用所述跟踪器对所述跟踪 主体位置进行 预测； 步骤2.3： 将预测结果与第一检测结果进行分析， 根据所述分析判断所述跟踪器是否与 所述跟踪 主体匹配。 4.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 所 述步骤3： 基于检测结果以及目标跟踪 结果， 计算所述跟踪主体与所述感兴趣目标之 间的几 何关系， 具体步骤 包括： 步骤3.1： 基于最终目标检测模型 得到最新检测结果； 步骤3.2： 根据 所述最新检测结果以及目标跟踪结果， 计算各个跟踪主体与感兴趣目标 之间的几何关系。 5.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 所 述步骤4： 根据所述几何关系， 判断所述感兴趣目标是否应装配于所述跟踪主体上， 具体包 括： 根据距离关系对所述感兴趣目标的应装配跟踪 主体进行第一判断； 根据角度关系对所述感兴趣目标的应装配跟踪 主体进行第二判断； 根据面积交 互情况对所述感兴趣目标的应装配跟踪 主体进行第三判断； 所述第一判断、 第二判断以及第三判断可任意灵活 组合执行。 6.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 步 骤4之后， 还 包括： 步骤5： 当所述跟踪主体离开当前工序警戒线的警戒范围时， 如果检测到所述跟踪主体 处于目标动作未完成状态， 发出告警通知。 7.根据权利要求4所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 包权　利　要　求　书 1/3 页 2 CN 114821478 A 2括： 所述步骤2.3： 将预测结果与第一检测结果进行分析， 根据所述分析判断所述跟踪器是 否与所述跟踪 主体匹配， 包括： 基于所述跟踪器， 预测多个跟踪主体位置获取第一预测结果， 同时， 获取第一检测结 果； 在所述跟踪器中选取任意一个作为待匹配跟踪器， 从第一预测结果中获取所述待匹配 跟踪器的预测结果 为第二预测结果； 在所述第一检测结果中选取任意一个跟踪主体检测结果作为待 匹配主体， 从第 一检测 结果中获取 所述待匹配主体的检测结果 为第二检测结果； 获取所述待匹配跟踪器的第 二预测结果矩形框的坐标为第 一矩形框坐标， 获取待 匹配 主体的第二检测结果矩形框坐标为第二矩形框坐标， 若所述第一矩形框坐标与所述第二矩 形框坐标之 间的重叠面积大于预设重叠面积阈值， 判断所述待匹配跟踪器与待匹配主体匹 配成功； 否则， 判断所述待匹配跟踪器与待匹配主体匹配不成功； 计算所述待匹配跟踪器与第 一检测结果中所有跟踪 主体的匹配情况； 当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时， 判定所述待 匹配跟踪器与 所 述跟踪主体最终匹配； 当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时， 获取全部与 所述待匹配跟踪 器匹配成功的跟踪主体， 计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积， 并对所述交互面积进行排序， 若最大交互面积对应的跟踪主体未被最终匹配， 判定所述待 匹配跟踪器与所述 最大交互面积对应的跟踪 主体最终匹配； 若最大交互面积对应的跟踪主体已经被最终匹配， 按照排序顺序依次查看， 直到获得 没有被最 终匹配的跟踪主体， 并判定所述待匹配跟踪器与所述没有被最 终匹配的跟踪主体 最终匹配； 若第一检测结果中存在无最终匹配跟踪主体， 则利用该无最终匹配跟踪主体的第 二检 测结果， 创建新的跟踪器； 对于具备最终匹配的跟踪器， 获取其位置信息为待更新位置信息， 从第一检测结果中 获取所述待更新位置信息对应的跟踪器的最 终匹配跟踪主体的第二检测结果， 对所述待 更 新位置信息进行 更新。 8.根据权利要求 4所述的一种基于 视频智能分析的工序流 程检测方法， 其特 征在于： 所述跟踪器上设有计时模块， 当所述跟踪器在预设时间内没有最终匹配跟踪主体时， 将所述跟踪器删除； 同时， 对所述跟踪器的位置进行判断， 当所述跟踪器到达出镜位置或预设画面中某边 界位置时， 将所述跟踪器删除。 9.根据权利要求6所述的一种基于视频智能分析的工序流程检测方法， 其特征在于， 包 括： 步骤5.1： 获取未执行目标动作的跟踪主体的当前位置， 并将所述当前位置与第一警戒 线位置以及第二警戒线位置进行比较； 步骤5.2： 当所述当前位置在第一警戒线位置与第二警戒线位置之间时， 判定所述失误 为第一类型失误， 并发出第一告警通知信号； 当所述当前位置在第二警戒线位置之后， 判定所述失误为第二类型失误， 并发出第二权　利　要　求　书 2/3 页 3 CN 114821478 A 3