(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210434454.4 (22)申请日 2022.04.24 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 王修晖　刘琳琦　包其富　贾波　 李学盛　王亚茹　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于时空残差网络的工序实时评估方 法 (57)摘要 本发明公开了一种基于时空残差网络的工 序实时评估 方法， 通过对输入的监控视频中操作 人员的检测， 提取目标区域图像； 然后， 使用时空 残差网络对目标区域进行时空特征提取和融合， 实时识别出作业过程中的每道工序。 该方法能够 在监控摄像头固定的应用场景下， 实现自动化的 操作工序的高精度实时评估。 权利要求书1页 说明书4页 附图3页 CN 114724088 A 2022.07.08 CN 114724088 A 1.一种基于时空残差网络的工序实时评估方法， 其特 征在于， 包括以下步骤： 步骤一： 对输入的工序监控视频进行解码， 得到一组具有时间顺序的图像； 步骤二： 对步骤一得到的每一帧图像， 通过对输入的监控视频中操作人员的检测， 提取 目标区域图像； 步骤三： 对步骤二所提取的目标区域图像， 使用时空残差网络对目标区域进行时空特 征提取和融合， 实时识别出作业过程中的每道工序； (1)基于步骤二获得的目标区域图像I(C， T， H， W)， 使用全局平均池化操作进行处理， 生 成新的特征图XP； 其中， H和W是图像高度和宽度， 其根据 每帧图像的分辨率提前预设； C是图 像通道数， T是 该图像的时间维度， XP＝AvgPool(X)， XP∈RC×T×1×1 (2)将XP的维度C×T×1×1调整为C ×T， 然后先通过一个 1X1卷积操作， 将XP的维度降低 为C×T/r， 再通过一个1X1卷积操作， 将XP的维度恢复为C ×T， 实现时空信息关联度的最大 化， 从而得到新的特 征图S(X)： 其中， Resize()为维度调整函数； (3)使用Sigmoid激活函数来集成由各通道学习得到的权重系数， 并利用维度调整函数 Resize调整权 重系数的维度， 以便与原 始特征图一致； (4)使用步骤(3)得到的权 重系数对原 始特征图进行增强， 从而得到 输出Xo Xo＝X+X*Sigmo id(S(X))， Xo∈RC×T×H×W 步骤四： 基于当前应用场景的操作规范， 对步骤三所识别出的工序进行评估。 2.根据权利要求1所述的基于时空残差网络的工序实时评估方法， 其特征在于， 所述步 骤二具体包括以下子步骤： (1)对步骤一获取的每一帧图像， 基于预先构造的背景模板进行背景差分， 提取包括操 作人员在内的前 景区域； (2)对于步骤(1)获取的前景区域， 进行去噪和膨胀腐蚀操作， 生成具有黑色背景的人 体区域图像； (3)以步骤(2)检测出的人体区域 为中心， 分割出 具有预设大小的目标区域图像。 3.根据权利要求2所述的基于时空残差网络的工序实时评估方法， 其特征在于， 所述步 骤2.1中预先构 造的背景模板是针对每个固定监控摄像头采用高斯背 景建模法生成的背 景 图像。 4.根据权利要求2所述的基于时空残差网络的工序实时评估方法， 其特征在于， 所述预 设大小的目标区域图像， 是根据具体的应用场景和摄像头固定的位置确定的图像宽度和高 度， 以确保能够 在每一个工序中， 都能分割出完整的人体区域图像。权　利　要　求　书 1/1 页 2 CN 114724088 A 2一种基于时空残差网 络的工序实时评估方 法 技术领域 [0001]本发明涉及人工智能领域， 尤其涉及一种基于时空残差网络的工序实时评估方 法。 背景技术 [0002]现阶段， 各类工业生产现场的主流视频监控采集设备大多数已经具有分辨率和帧 率较高的硬件条件。 然而， 目前针对现场各类操作工序的过程监管自动化和智能化程度仍 然远远滞后于信息技 术的发展。 现有的工业现场操作工序监控方法可以分为两类： [0003](1)依赖人工进行现场管控。 这种情况下， 视频监控的作用大多还只限于循环录 像， 用于事故发生之后的追责证据和成因分析， 只能弥补人工客观 性不足的缺陷， 无法实现 对操作工序合规性的实时分析研判和预警。 而且， 依赖于人工现场对操作工序进 行管控， 对 监管人员的技术背景、 疲劳程度和负责程度有较高的要求， 且会增加 不必要的人力 资源需 求。 [0004](2)依赖于传统机器学习模型， 比如隐式马尔科夫模型(HMM)或者贝叶斯模型进行 简单动作识别。 这类方法由于受到实时性较低、 可靠性不足、 泛化能力较弱等因素的制约， 在实际工业现场的安全管控中推广应用较为困难。 发明内容 [0005]本发明的目的在于针对现有技术自动化程度不够或者识别精度不高的问题， 结合 现阶段各类工业生产现场主流视频监控采集设备的分辨率和帧率的实际情况， 提供一种基 于时空残差网络的工序实时评估方法， 具体技 术方案如下： [0006]一种基于时空残差网络的工序实时评估方法， 包括以下步骤： [0007]步骤一： 对输入的工序监控视频进行解码， 得到一组具有时间顺序的图像； [0008]步骤二： 对步骤一得到的每一帧图像， 通过对输入的监控视频中操作人员的检测， 提取目标区域图像； [0009]步骤三： 对步骤二所提取的目标区域图像， 使用时空残差网络对目标区域进行时 空特征提取和融合， 实时识别出作业过程中的每道工序； [0010](1)基于步骤二获得 的目标区域图像I(C,T,H,W)， 使用全局平均池化操作进行处 理， 生成新的特征图XP； 其中， H和W是图像高度和宽度， 其根据 每帧图像的分辨率提前预设； C是图像通道数， T是 该图像的时间维度， [0011]XP＝AvgPool(X)， XP∈RC×T×1×1 [0012](2)将XP的维度C×T×1×1调整为C ×T,然后先通过一个1X1卷积操作， 将XP的维度 降低为C×T/r， 再通过一个1X1卷积操作， 将XP的维度恢复为C ×T， 实现时空信息关联度的 最大化， 从而得到新的特 征图S(X): [0013] 说　明　书 1/4 页 3 CN 114724088 A 3