(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210532287.7 (22)申请日 2022.05.09 (71)申请人 国电汉川发电有限公司 地址 431614 湖北省孝感市汉川市新河镇 汉川电厂 申请人 华中科技大 学 (72)发明人 于俊清　张晖　宋子恺　王舒心　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 胡秋萍 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/22(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/46(2022.01) G06V 10/25(2022.01) (54)发明名称 一种工业场景 下的遗留物检测方法和系统 (57)摘要 本发明公开一种工业场景下的遗留物检测 方法和系统， 属于工业监控视频的智能检测领 域。 包括： 分别提取监控视频当前帧的特征图和 背景帧的特征图， 所述背景帧一旦发生变化需重 新标定； 使用负相关的相关性算子计算当前帧特 征图和背景帧特征图的相关性， 得到相关特征 图； 从相关特征图中检测得到当前帧不属于背景 的所有前景目标的回归框及位置； 对每个前景目 标进行分类， 得到前景目标的类别； 根据当前帧 中的前景目标的类别和位置， 结合工业场景特 性， 输出遗留物检测结果。 本发明采用 负相关性 算子计算得到当前帧与背景帧的相关特征， 能够 准确识别背景以外的所有前景目标， 消除光线变 化等干扰影 响， 降低遗留物检测的误判率和漏检 率。 权利要求书1页 说明书5页 附图3页 CN 114926764 A 2022.08.19 CN 114926764 A 1.一种工业场景 下的遗留物检测方法， 其特 征在于， 该 方法包括： 分别提取监控视频当前帧的特征图和背景帧的特征图， 所述背景帧与工业监控摄像头 一一对应， 为 不包含任何遗留物的摄 像头监控的工业 生产区， 一 旦发生变化需重新标定； 使用负相关的相关性算子计算当前帧特征图和背景帧特征图的相关性， 得到相关特征 图； 从相关特 征图中检测得到当前帧不属于背景的所有前 景目标的回归框及位置； 对每个前景目标进行分类， 得到前 景目标的类别； 根据当前帧中的前 景目标的类别和位置， 结合工业场景 特性， 输出遗留物检测结果。 2.如权利要求1所述的方法， 其特征在于， 所述使用负相关的相关性算子计算当前帧特 征图和背景帧特 征图的相关性， 得到相关特 征， 具体如下： 其中， F(a,b)为当前帧与背景帧的相关特征图， a为当前帧特征图， b为背景帧特征图， aij为前帧特征图第i行j列的特征， bij为背景帧特征图第i行j列的特征， i＝1, …,m， j＝ 1,…,n， m、 n分别为特 征图的长、 宽 。 3.如权利要求1所述的方法， 其特征在于， 采用孪生神经网络分别提取监控视频当前帧 的特征图和背景帧的特征图， 所述所述孪生神经网络的两个分支网络结构相同， 网络主干 结构均为ResNet5 0的前四层网络结构组成级联 结构， 两个分支网络参数不同。 4.如权利要求1所述的方法， 其特征在于， 采用目标检测网络从相关特征图中检测得到 当前帧不属于背 景的所有前景目标的回归框及位置， 所述目标检测网络为串 联的RPN head 和ROI head。 5.如权利要求1至4任一项所述的方法， 其特征在于， 若连续M帧中检测出同一物品前景 目标且未检测到人， 判定该 前景目标为遗留物， 进行 标记并发送报警信息 。 6.如权利要求1至4任一项所述的方法， 其特征在于， 对每个新出现的物品前景目标， 匹 配与其距离最近的人； 若物品前景目标所匹配的人消失超过一定时间， 将其标记为遗留物， 进行标记并发送报警信息 。 7.如权利要求5或6所述的方法， 其特征在于， 统计其遗留的帧数并根据视频帧率将其 转换为遗留时间， 在画面上 标记遗留物的位置和遗留时间， 并向监控中心推送报警信息 。 8.一种工业场景下的遗 留物检测系统， 其特征在于， 包括： 计算机可读存储介质和处理 器； 所述计算机可读存 储介质用于存 储可执行指令； 所述处理器用于读取所述计算机可读存储介质中存储的可执行指令， 执行权利要求1 至7任一项所述的工业场景 下的遗留物检测方法。权　利　要　求　书 1/1 页 2 CN 114926764 A 2一种工业场景下的遗留物检测方 法和系统 技术领域 [0001]本发明属于工业监控视频的智能检测领域， 更具体地， 涉及一种工业场景下的遗 留物检测方法和系统。 背景技术 [0002]遗留物检测是智能监控视频领域具有重要意义的研究方向， 特别是在工业生产区 中， 环境安全要求极为严格， 不明物品的遗留可能会影响机组作业， 带来安全隐患， 从而造 成重大损失， 该算法能检测出人员遗留在工业生产区中的物品， 并及时向监控中心发送报 警信息， 保障生产安全。 [0003]近年来， 许多研究者提出了一些遗留物检测算法， 这些算法在公共数据集上的表 现较好， 但因为大多采用传统图像处理方法。 然而， 实际环境中存在光线变化、 运动遮挡、 目 标尺度变化、 背景干扰等挑战， 导致目前的方法难以应用到实际场景中， 工业场景下的遗留 物检测仍然存在一些问题， 主 要体现为以下几点： [0004]1.现有研究方案缺乏满足工业需求的遗留数据集。 一方面， 现有公共数据集场景 多为机场、 火车站站台， 场景风格单一、 背 景简单， 未定义和区分人员的各种遗留行为， 无法 检测和评估工业环境下人员较为复杂多样的遗留行为。 另一方面， 现有遗留物数据集中的 物品多为行李箱、 背包等， 而工业环境中人员常遗留杂物、 工具等， 遗留物品类别差别较大 导致深度学习方法无法发挥其的检测优势； 此外， 虽然目标检测领域数据集较多， 但是其中 的目标为日常场景中的大型目标， 而监控视频中的目标多为中小型目标， 目前已有数据集 的目标类型和尺度大小都不符合工业检测需求。 [0005]2.现有研究方案漏检率和误判率高。 现有算法主要采用传统图像处理方法， 非常 容易将静止的车、 人等 目标误判为遗留物， 而且工厂中工人 的频繁移动停留、 肢体摆动、 运 动遮挡和相似背景干扰都会造成严重的漏检。 [0006]3.现有研究方案鲁棒性差。 现有算法依赖人为经验设计特征提取器， 往往在特定 的背景下才能发挥作用， 当背景发生变化则失效， 特别是在工业背景复杂程度较高的情况 下， 传统方法会产生极大的干扰， 导 致检测不稳定 。 发明内容 [0007]针对现有技术的缺陷和改进需求， 本发明提供了一种工业场景下的遗留物检测方 法和系统， 其目的在于降低工业场景 下遗留物检测的误判率和漏检率。 [0008]为实现上述目的， 按照本发明的第一方面， 提供了一种工业场景下的遗留物检测 方法， 该方法包括： [0009]分别提取监控视频当前帧的特征图和背景帧的特征图， 所述背景帧与工业监控摄 像头一一对应， 为不包含任何遗留物的摄像头监控的工业生产区， 一旦发生变化需重新标 定； [0010]使用负相关的相关性算子计算当前帧特征图和背景帧特征图的相关性， 得到相关说　明　书 1/5 页 3 CN 114926764 A 3