(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210502676.5 (22)申请日 2022.05.09 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 张江鑫　沈科纳　徐思世　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 孙家丰 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/82(2022.01) (54)发明名称 一种基于监控视频的吸烟行为检测方法 (57)摘要 一种基于监控视频的吸烟行为检测方法， 包 括如下步骤： S1， 利用视频监控系统获取视频图 像； S2， 利用改进的YOL Ov5检测网络， 对图像中的 人头和人手进行检测； S3， 计算人手与人头间的 距离， 截取距离小于设定阈值时的嘴部区域和手 部区域； S4， 利用卷积神经网络对截图进行烟支 检测， 判断并输出吸烟行为检测结果。 本发明首 先通过对YOLOv5增加160*160 的特征图输出， 并 用BiFPN代替PANet进行更高级别的特征融合， 提 高了小目标检测的准确性； 根据人手与人头间的 距离， 作为可能存在吸烟行为的初判， 对图片进 行初筛， 提高检测效率； 截取感兴趣的嘴部和手 部区域， 增大烟支在图像中的占比， 提高了烟支 检测的准确性。 权利要求书2页 说明书6页 附图5页 CN 114758303 A 2022.07.15 CN 114758303 A 1.一种基于监控视频的吸烟行为检测方法， 其特 征在于： 包括以下步骤： S1， 利用视频监控系统获取视频图像； S2， 利用改进的YOLOv5检测网络， 对图像中的人头和人手进行检测； S3， 计算人手与人头间的距离， 截取距离小于设定阈值时的嘴部区域和手部区域； S4， 利用卷积神经网络对 截图进行烟支检测， 判断并输出吸烟行为检测结果。 2.根据权利要求1所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S1具体包 括： S1.1， 监控摄像头采集需要吸烟检测 公共环境的视频图像数据， 将采集的视频存入硬 盘录像机中； S1.2， 对获取的视频 数据进行拆帧处 理， 获得检测所需图像； T1.训练所需数据集需要多进行一步人工筛选， 要求数据集中的图片需要清晰完整的 包含人头和人手， 并且 对于存在人头和人手的图片各不能少于20 00张； T2.将原图片和衍 生图片一并作为制作样本的素 材， 扩充数据集； T3.对扩充后的训练所需的图片中的人头和人手进行 标注， 制作标签， 具体步骤如下： 步骤S1.2.1， 将数据集使用Pytho n程序批量重命名为 “00001.jpg”的形式； 步骤S1.2.2， 对重命名的图像数据集 中的每张图片利用labelImg标签制作工具标记出 手势区域框， 并注释手势的类型信息和位置信息， 生成xml手势标签文件； 步骤S1.2.3， 在工程下新建一个文件夹VOCdevkit， 目录结构为VOCdevkit/VOC2007/， 在此目录下新建文件夹Annotation， JPEGImages， ImageSet， 将所有的训练图片都放入 JPEGImages文件夹内， 将所有的xml标注文件都放入Annotation文件夹内， 接着创建/ ImageSet/Main文件夹运行程序生成train.txt,val.txt， test.txt， 分别表示训练、 验证和 测试图片的索引； 在voc_an notation.py中修改所要检测的类型名。 3.根据权利要求1所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S2具体包 括： S2.1， 对获取的需检测图像进行 卷积和池化操作， 获取三种尺寸的特 征图片； S2.2， 通过 FPN网络构建所述特 征图片的不同尺度的预测特 征； S2.3， 对RPN网络中的所述模型训练数据进行聚类， 将所述聚类结果对应到所述FPN网 络的不同尺度的所述预测特 征中； S2.4， 对所述聚类结果进行分类任务和定位任务， 获得疑似人头和人手目标的置信度 得分和坐标。 4.根据权利要求3所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S2.1所述 三种尺寸的特征图片包括40*40， 80*80， 160*160三种尺寸； 裁去了原YOLOv5网络中用于输 出20*20尺寸特征图的卷积层， 达到简化网络的效果， 提高网络的检测速率； 增加了一个 160*160尺寸的特 征图， 以输出一个可以预测小物体的预测框， 提高小目标的检测精度。 5.根据权利要求3所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S2.2所述 FPN网络用BiFPN代 替原多尺度特征融合模块PANet， BiFPN添加了一条输入到输出的跳跃连 接， 融合更多的特 征信息， 提高检测精度。 6.根据权利要求1所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S3具体包 括：权　利　要　求　书 1/2 页 2 CN 114758303 A 2S3.1， 确定人头区域和人手区域的距离阈值； 由于YOLOv5分别输出的检测框的左上点和右下点的位置信息， 人头检测框左上点坐标 为(a1,b1)， 右下点坐 标为(a2,b2)； 人手检测框左上点坐 标为(x1,y1),右下点坐 标为(x2,y2)； 其中距离阈值d的设定如式(1)所示 为： S3.2， 根据人头和人手目标区域的中心点 坐标确定 两者距离； S3.3， 对于距离小于设定阈值的人头区域中的嘴部区域和手部区域进行截取， 包括： 根据嘴部在整张人脸中占据了下1/3的区域， 因此嘴部区域的宽与人头区域宽相同， 高 h’变为人头区域的1/ 3， 如式(2)所示 为： 此时， 嘴部区域左上点 坐标为 右下点坐标不变。 7.根据权利要求1所述的基于监控视频的吸烟行为检测方法， 其特征是： 步骤S4具体包 括： S4.1， 将获取的人头和人脸区域图片输入已经训练好的卷积神经网络进行分类； 所述 训练好的卷积神经网络可以区分四类图片， 分别为： 嘴部存在烟支； 手部存在烟支； 嘴部不 存在烟支； 手部不存在烟支。 若分类结果为前两类中的任意一类， 则可认定为存在吸烟行 为； S4.2， 根据分类结果得到最终吸烟行为判断结果。权　利　要　求　书 2/2 页 3 CN 114758303 A 3