(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210489250.0 (22)申请日 2022.05.07 (65)同一申请的已公布的文献号 申请公布号 CN 114581447 A (43)申请公布日 2022.06.03 (73)专利权人 合肥金星智控科技股份有限公司 地址 230088 安徽省合肥市高新区皖水路 228号1幢生产楼 (72)发明人 段连飞　戴亮亮　刘传峰　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/25(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) B65G 43/02(2006.01) (56)对比文件 Yi Liu,et al. .Researc h on Deviati on Detection of Belt Co nveyor Based o n Inspection Robot and De ep Learn ing. 《Complextity》 .2021,1-15. 杨明花 等.基 于机器视觉和DSP技术的输煤 皮带跑偏检测控制器. 《电子 世界》 .2018,15 3- 154. 审查员 彭玉玲 (54)发明名称 一种基于机器视觉的运输皮带跑偏识别方 法和装置 (57)摘要 本发明公开一种基于机器视觉的运输皮带 跑偏识别方法和装置， 该基于机器视觉的运输皮 带跑偏识别方法包括在线获取运输皮带的监控 视频帧， 根据预设背景区域获取当前帧待测感兴 趣图像； 将所述当前帧待测感兴趣图像与皮带背 景模板图进行分块匹配， 确定皮带边缘的位置区 间； 根据所述皮带边缘的位置区间， 监测所述运 输皮带的跑偏量并进行皮带跑偏预 警。 利用本发 明， 能提升皮带了跑偏预警方法在图像模糊、 物 料遮挡、 皮带 纵向划痕等干扰场景下的鲁棒性和 识别精度； 并且能够在线监测皮带偏离趋势， 对 于未达到报警级别的皮带偏离能够定量 化分析。 权利要求书3页 说明书9页 附图6页 CN 114581447 B 2022.08.05 CN 114581447 B 1.一种基于 机器视觉的运输皮带 跑偏识别方法， 其特 征在于， 包括： 在线获取运输皮带的监控视频帧， 根据预设背景区域获取当前帧待测感兴趣图像； 将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配， 确定皮带边缘的位置 区间， 其中， 所述皮带背景模板图根据所述预设背景区域构建； 根据所述皮带边 缘的位置区间， 监测所述 运输皮带的跑偏量并进行皮带 跑偏预警； 其中， 将所述当前帧待测感兴趣图像与皮带背景模板 图进行分块匹配， 确定所述皮带 边缘的位置区间包括： 分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相 同的若干图像块； 对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配， 以获 取相似度矩阵； 根据预设的相似度阈值， 将所述相似度矩阵二 值化， 以得到皮带定位矩阵； 逐列遍历所述皮带定位矩阵， 记录每列元素中首次出现差异图像块的纵坐标， 其对应 图像块内均包含一段皮带边缘， 每列元素中首次出现差异的图像块的纵坐标共同组成皮带 边缘定位向量， 通过 所述皮带边 缘定位向量完成所述皮带边 缘的位置区间的确定 。 2.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 所述在 线获取运输皮带的监控视频帧， 根据预设背景区域获取当前帧待测感兴趣图像包括： 在线获取运输皮带的监控视频帧数据， 根据 所述预设背景区域对当前帧监控原图像进 行图像提取， 以获取当前帧提取图像； 对所述当前帧提取图像进行透视变换处理， 以将所述当前帧提取图像转换为与所述皮 带背景模板图相同尺寸的图像， 作为当前帧待测感兴趣图像。 3.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 根据 所 述皮带边 缘的位置区间， 监测所述 运输皮带的跑偏量并进行皮带 跑偏预警包括： 根据所述皮带边缘定位向量， 计算所述当前帧待测感兴趣图像中皮带边缘的区间上界 线或区间下界线； 通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述 运输皮带的跑偏量并进行皮带 跑偏预警。 4.根据权利要求3所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 通过所 述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的 跑偏量并进行皮带 跑偏预警包括： 通过透视逆变换将所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界 线映射回当前帧监控原图像中， 以获取所述当前帧监控原图像中皮带边缘的区间上界线或 区间下界线； 计算所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线与预标注的皮带 边缘基准线段的偏移量； 将所述偏移量与所述皮带跑偏报 警阈值进行比对， 以判断当前所述运输皮带是否发生 跑偏。 5.根据权利要求4所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 将所述 偏移量与所述皮带跑偏报警阈值进行比对， 以判断当前所述运输皮带是否发生跑偏中， 根权　利　要　求　书 1/3 页 2 CN 114581447 B 2据下式来判断当前 所述运输皮带 是否发生跑偏： 其中，Δdl和Δdr为所述当前帧监控原图像中皮带左右两侧边缘的区间下界线的偏移 量，td为皮带跑偏报警阈值， normal表示运输皮带运行正常未发生跑偏， alarm表示运输皮 带发生皮带 跑偏， 需要皮带 跑偏报警。 6.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 所述基 于机器视觉的运输皮带 跑偏识别方法还 包括； 获取标准皮带监控图像， 所述标准皮带监控图像中标注有所述运输皮带两侧的基准边 缘点； 根据所述 运输皮带两侧的基准 边缘点确定所述 运输皮带外侧的所述预设背景区域； 根据所述预设背景区域 来构建所述皮带背景模板图。 7.根据权利要求6所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 所述根 据所述运输皮带两侧的基准 边缘点确定所述 运输皮带外侧的所述预设背景区域包括： 设定跑偏检测范围； 以所述运输皮带两侧的基准边缘点为基准， 沿横坐标方向向所述运输皮带的外侧延伸 来确定所述预设背景区域， 其中， 向外延伸量为所述跑偏检测范围与所述运输皮带在对应 的所述基准 边缘点处的横向宽度。 8.根据权利要求6所述的基于机器视觉的运输皮带跑偏识别方法， 其特征在于， 所述根 据所述预设背景区域 来构建所述皮带背景模板图， 包括： 根据所述预设背景区域对所述标准皮带监控图像进行图像提取， 以获取标准提取图 像； 对所述标准提取图像进行透视变换处理， 以将所述标准提取图像转换为所述皮带背景 模板图。 9.一种基于 机器视觉的运输皮带 跑偏识别装置， 其特 征在于， 包括： ROI图像获取模块， 用于在线获取运输皮带的监控视频帧， 根据 预设背景区域获取当前 帧待测感兴趣图像； 边缘位置确定模块， 用于将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹 配， 确定皮带边 缘的位置区间， 其中， 所述皮带背景模板图根据所述预设背景区域构建； 跑偏预警模块， 用于根据所述皮带边缘的位置区间， 监测所述运输皮带的跑偏量并进 行皮带跑偏预警； 其中， 将所述当前帧待测感兴趣图像与皮带背景模板 图进行分块匹配， 确定所述皮带 边缘的位置区间包括： 分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相 同的若干图像块； 对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配， 以获 取相似度矩阵； 根据预设的相似度阈值， 将所述相似度矩阵二 值化， 以得到皮带定位矩阵； 逐列遍历所述皮带定位矩阵， 记录每列元素中首次出现差异图像块的纵坐标， 其对应权　利　要　求　书 2/3 页 3 CN 114581447 B 3