(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210195383.7 (22)申请日 2022.03.02 (65)同一申请的已公布的文献号 申请公布号 CN 114267002 A (43)申请公布日 2022.04.01 (73)专利权人 深圳市华 付信息技 术有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 陈兴委　李爱林　赵士红　 (74)专利代理 机构 深圳中创智财知识产权代理 有限公司 4 4553 专利代理师 郑一帆　文言 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 20/62(2022.01) G06V 30/10(2022.01) G06V 10/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 110378618 A,2019.10.25 CN 110723341 A,2020.01.24 CN 103948160 A,2014.07.3 0 CN 113673618 A,2021.1 1.19 CN 113936019 A,202 2.01.14 CN 112132019 A,2020.12.25 审查员 黄攀 (54)发明名称 卷烟厂制丝车间工况监测方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及自动检测技术领域， 公开了一种 卷烟厂制丝车间工况监测方法、 装置、 设备及存 储介质。 卷烟厂制丝车间工况监测方法包括： 实 时获取卷烟厂制丝车间进行工况监测的视频图 像并进行识别； 若视频图像为烟箱图像， 则通过 文本识别算法进行文本识别； 若为片烟包图像， 则进行杂物残留检测， 判断所述片烟包是否解包 完成； 若为切片面图像， 则进行包芯霉变检测， 并 输出包芯霉变检测结果； 若为装 载片烟包的小车 图像， 则进行漏油检测， 以判断所述小车是否漏 油； 若为装载过烟丝的烟丝桶图像， 则进行烟丝 残留物检测， 以判断所述烟丝桶是否清扫干净。 本发明基于机器视觉对卷烟厂制丝车间的工况 进行在线检测， 显著提高生产效率与生产自动化 程度。 权利要求书3页 说明书13页 附图5页 CN 114267002 B 2022.05.24 CN 114267002 B 1.一种卷烟厂制丝车间工况监测方法， 其特征在于， 所述卷烟厂制丝车间工况监测方 法包括： 实时获取 卷烟厂制丝车间进行工况监测的视频图像并进行识别； 若获取的视频图像为烟箱图像， 则通过文本识别算法对所述烟箱图像进行文本识别， 得到所述烟箱图像中烟箱的编号； 若获取的视频图像为所述烟箱进行解包后的片烟包图像， 则通过第一预置CenterNet 模型对所述片烟包图像进 行片烟包检测， 得到检测结果， 并基于所述检测结果， 采用预置目 标检测模型检测所述片烟包的表面是否存在遮挡， 若所述片烟包表面不存在遮挡， 则确定 所述片烟包解包完成； 若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像， 则对所述切片 面图像进行包芯霉 变检测， 并输出包芯霉 变检测结果； 若获取到的视频图像为装载所述片烟包的小车图像， 则对所述小车图像进行漏油检 测， 以判断所述小车 是否漏油； 若获取到的视频图像为装载过烟丝的烟丝桶图像， 则对所述烟丝桶图像进行烟丝残留 物检测， 以判断所述烟丝桶是否清扫干净。 2.根据权利要求1所述的卷烟厂制丝车间工况监测方法， 其特征在于， 所述若获取的视 频图像为烟箱图像， 则通过文本识别算法对所述烟箱图像进行文本识别， 得到所述烟箱图 像中烟箱的编号包括： 若获取的视频图像为烟箱图像， 则采用基于微分二值化的实时场景文本检测算法对所 述烟箱图像进行文本检测， 得到文本区域图像； 采用卷积神经网络对所述文本区域图像进行特征提取， 得到特征序列， 并将所述特征 序列输入循环神经网络进行 预测， 得到预测序列； 采用CTC算法对所述预测序列进行校正， 得到文字识别结果， 得到所述烟箱图像 中烟箱 的编号。 3.根据权利要求1所述的卷烟厂制丝车间工况监测方法， 其特征在于， 在所述若获取的 视频图像为所述烟箱进行解包后的片烟包图像， 则对所述片烟包图像进行杂物残留检测， 以判断所述片烟包是否解包完成之前， 还 包括： 将预置训练数据集中的图像输入CenterNet， 提取所述图像的特征图， 其中， 所述预置 训练数据集采用CutMix的方法进行 数据增强； 通过预置卷积网络对所述特 征图进行 卷积， 得到片烟包的预测热力图； 通过预置损失函数优化所述卷积网络的参数， 得到所述第一预置 CenterNet模型。 4.根据权利要求1所述的卷烟厂制丝车间工况监测方法， 其特征在于， 所述若获取的视 频图像为所述片烟 包解包完成并进行切片后的切片面图像， 则对所述切片面图像进行包芯 霉变检测， 并输出包芯霉 变检测结果包括： 若获取的视频图像为所述片烟包解包完成并进行切片后的切片面图像， 则通过第 二预 置CenterNet模型对所述切片面图像进行烟草检测， 得到切片面图像的烟草区域并截图； 通过预置ShuffleNetV2模型对截取的烟草切 片面进行分类， 判断所述片烟包的包芯是 否霉变。 5.根据权利要求1所述的卷烟厂制丝车间工况监测方法， 其特征在于， 所述若获取到的权　利　要　求　书 1/3 页 2 CN 114267002 B 2视频图像为装载所述片烟包的小车图像， 则对所述小车图像进行漏油检测， 以判断所述小 车是否漏油包括： 若获取到的视频图像为装载所述片烟包的小车图像， 则通过带色彩恢 复的多尺度视网 膜增强算法对所述图像进行增强处 理， 得到增强图像； 对所述增强图像进行接油盘 检测， 并根据检测结果进行截图处 理， 得到接油盘图像； 通过对比度受限的自适应直方图均衡化算法对所述接油盘图像进行直方图均衡化处 理， 得到接油盘均衡图像； 将所述接油盘均衡图像的RGB色彩空间转换为HSV色彩空间， 并根据预置颜色阈值定位 所述接油盘均衡图像的接油盘区域图像； 将所述接油盘区域图像转换为接油盘灰度图， 并基于所述接油盘灰度图计算接油盘区 域方差， 根据计算结果判断所述小车 是否漏油。 6.根据权利要求1所述的卷烟厂制丝车间工况监测方法， 其特征在于， 所述若获取到的 视频图像为装载过烟丝的烟丝桶图像， 则对所述烟丝桶图像进行烟丝残留物检测， 以判断 所述烟丝桶是否清扫干净包括： 若获取到的视频图像为装载过烟丝的烟丝桶图像， 则通过预置目标检测算法对所述烟 丝桶图像进行目标检测， 得到目标检测结果； 基于所述目标检测结果对所述烟丝桶图像进行截图， 得到烟丝桶的桶底图像； 将所述桶底图像的RGB色彩空间转换为HSV色彩空间， 根据预置颜色阈值定位烟丝桶桶 底的烟丝残留物的区域， 并进行色彩提取， 得到桶底HSV图像； 将所述桶底HSV图像的HSV色彩空间转换为HLS色彩空间进行去反光处理， 得到剔除部 分反光干扰的桶底HLS图像， 将所述桶底HLS图像从HLS色彩空间转换为YUV色彩空间并再次 进行去反光处 理， 得到无反光的桶底YUV图像； 将所述桶底YUV图像转换为灰度图， 并基于所述灰度图进行残留物占比计算， 得到所述 烟丝残留物的面积占比。 7.一种卷烟厂制丝车间工况监测装置， 其特征在于， 所述卷烟厂制丝车间工况监测装 置包括： 图像获取模块， 用于实时获取 卷烟厂制丝车间进行工况监测的视频图像并进行识别； 编号识别模块， 用于若获取的视频图像为烟箱图像， 则通过文本识别算法对所述烟箱 图像进行文本识别， 得到所述烟箱图像中烟箱的编号； 解包检测模块， 用于若获取的视频图像为所述烟箱进行解包后的片烟包图像， 则对所 述片烟包图像进行杂物 残留检测， 以判断所述片烟包是否解包完成； 霉变检测模块， 用于若获取的视频图像为所述片烟包解包完成并进行切片后的切片面 图像， 则对所述切片面图像进行包芯霉 变检测， 并输出包芯霉 变检测结果； 漏油检测模块， 用于若获取到的视频图像为装载所述片烟包的小车图像， 则对所述小 车图像进行漏油检测， 以判断所述小车 是否漏油； 残留检测模块， 用于若获取到的视频图像为装载过烟丝的烟丝桶图像， 则对所述烟丝 桶图像进行烟丝残留物检测， 以判断所述烟丝桶是否清扫干净； 其中， 所述 解包检测模块具体用于： 若获取的视频图像为所述烟箱进行解包后的片烟包图像， 则通过第一预置CenterNet权　利　要　求　书 2/3 页 3 CN 114267002 B 3