(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608558.2 (22)申请日 2022.05.31 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 章东平　于学成　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 赵芳 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的违规投递垃圾行为检 测方法 (57)摘要 一种基于深度学习的违规投递垃圾行为检 测方法， 包括： 在非垃圾投递时间段内获取安装 在垃圾投递亭外侧的监控摄像头拍摄的画面； 利 用基于深度学习的目标检测算法对视频画面中 的行人、 垃圾袋和垃圾桶进行逐帧检测， 得到行 人、 垃圾袋和垃圾桶的检测框坐标信息、 类别； 若 检测到第t帧画面中存在行人， 则截取第t帧画面 中所有垃圾袋和行人检测框图像； 将第t帧中检 测到的行人检测框图像输入到人体关键点检测 模块中输 出图像中人体的关键点坐标信息； 计算 第t帧中的所有垃圾袋与所有行人的交并比， 判 断行人是否携带垃圾袋进入监控区域， 计算第t 帧中每个垃圾袋与垃圾桶的距离和行人是否做 出投递动作来判断行人是否存在违规投递垃圾 行为。 权利要求书3页 说明书7页 附图4页 CN 115100588 A 2022.09.23 CN 115100588 A 1.一种基于深度学习的违规投递垃圾行为检测方法， 其特 征在于： 其具体步骤如下： 步骤(1)， 在非垃圾投递时间段内获取安装在垃圾投递亭外侧的监控摄像头拍摄的画 面； 步骤(2)， 利用基于深度学习的目标检测算法对接收到的视频画面中的行人p、 垃圾袋r 和垃圾桶e进行 逐帧检测， 得到行 人、 垃圾袋和垃圾桶的检测框坐标信息、 类别； 步骤(3)， 若检测到第t帧画面中存在行人p， 则截取第t帧画面中所有垃圾袋和行人检 测框图像 其中 代表第t帧中的 第i个垃圾袋检测框图像， 代表第t帧中的第j个行人测框图像； 并将该帧所有行人和垃 圾袋的检测框图像、 检测框坐标信息、 类别作为跟踪模块的输入， 跟踪模块为每个行人和垃 圾袋分配id； 步骤(4)， 将第t帧中检测到的行人检测框图像 输入到人体 关键点检测模块中， 人体关键点检测模块输出图像中人体的关键点 坐标信息； 步骤(5)， 计算第t 帧中的所有垃圾袋与所有行人的交并比iou， 根据iou的大小来判断 行人是否携带垃圾袋进入监控区域， 如果检测到携带着垃圾袋的行人， 则将行人与垃圾袋 信息在数据表中做添加或更新操作， 如果未检测到携带着垃圾袋的行 人， 则进入步骤(2)； 步骤(6)， 更新完数据表后 计算第t帧中每个被行人携带着的垃圾袋与垃圾桶的距离和 行人是否做出投递动作来判断行 人是否存在违规投递垃圾行为。 2.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法， 其特征在 于： 当步骤(2)中目标检测算法连续H帧无 法检测到行人pj时， 则认为行人pj已经离开视频监 控范围， 删除数据表中行 人pj的信息。 3.根据权利要求1或2所述的一种基于深度 学习的违规投递垃圾行为检测方法， 其特征 在于： 步骤(2)中的基于深度学习的目标检测算法是如下进行训练的： 步骤(2.1)数据准备， 通过安装在垃圾投递亭外侧的监控摄像头每隔十秒拍摄一幅图 像， 人工对图像进行标注， 标注信息为行人、 垃圾袋和垃圾桶的检测框信息即(f， x， y， w， h)， 其中f表示类别， f为0代表行人， f为1代表垃圾袋， f为2代表垃圾桶， x， y表示目标的中心点 的横纵轴 坐标， w， h表示目标的长和宽； 将标注数据样本按照8∶1∶1划分为训练集、 验证集、 测试集； 步骤(2.2)网络结构 设计， 目标检测网络将监控摄像头拍摄的画面作为输入， 先对输入 图像进行FOCUS切片操作， 再通过多个后接批标准化和激活函数的卷积组A以及含有残差组 件的卷积组B， 经过由卷积和池化层组成的池化组后连接卷积组C和卷积组A， 主干网络中通 过跳跃连接形成三个不同尺度的检测分支， 三个分支分别对从主干网络中输出的特征图进 行拼接和卷积， 最后利用后接卷积层的卷积组C得到图中的行人、 垃圾袋和垃圾桶的坐标、 置信度和类别 信息； 步骤(2.3)网络训练， 将步骤(2.1)中的训练集输入到目标检测网络中进行训练， 训练 过程中权重层、 偏置层和批标准化层的学习率单独进行调整， 训练开始 时采用一维线性插 值来进行对学习率的更新， 学习率预 热完毕后采用余弦退火算法来对学习率进行 更新； 步骤(2.4)模型测试， 输入监控拍摄的图像， 输出行人、 垃圾袋、 垃圾桶的坐标信息、 类权　利　要　求　书 1/3 页 2 CN 115100588 A 2别和置信度。 4.根据权利要求3所述的一种基于深度学习的违规投递垃圾行为检测方法， 其特征在 于： 步骤(2.3)中的余弦退火算法表示 为： 其中， newlr表示新得到 的学习率， initiallr表示初始学习率， etamin表示最小学习率， curepoch表示当前训练的轮数， Tmax表示训练总轮数； 网络损失函数表示 为： 其中ρ()为欧式距离， b和bgt分别表示 预测目标框的中心点坐标和实际目标框的中心点 坐标， c表示预测框B与实际框Bgt的最小外接矩形的对角线距离； a表示权衡系数， u表示宽高 比一致性参数， wgt和hgt表示为实际目标框的宽和高， w和h表示为预测目标框的宽和高； IOU 表示预测框B与实际框Bgt的交并比。 5.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法， 其特征在 于： 步骤(3)中的跟踪模块是如下进行实现的： 步骤(3.1)特征提取， 将第t帧画面中所有垃圾袋和行人检测框图像输入由卷积层堆叠 形成的轻量级图像特征提取网络模型中， 利用卷积神经网络提取所有 垃圾袋和行人检测框 图像图像特 征， 每幅图像得到一个512维的特 征向量 步骤(3.2)目标匹配， 将t +1、 t+2、 t +3帧中检测到的垃圾袋和行人检测框图像输入步骤 (3.1)中的特 征提取网络中， 得到相应的特 征向量： 计算相邻两帧的特征向量的距离l， 若l小于阈值δ， 则认为 和 中的行人为同一 行人； 将前一帧中的剩余检测框通过卡尔曼滤波算法预测出其在下一帧中的位置， 若预测 检测框与下一帧中的实际检测框交并比大于阈值ε， 则认为这两个检测框内目标为同一 目 标。 6.根据权利要求5所述的一种基于深度学习的违规投递垃圾行为检测方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115100588 A 3