(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210702553.6 (22)申请日 2022.06.21 (71)申请人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路1段24 号 申请人 成都知行创智科技有限公司 (72)发明人 许源平　詹羿　郭本俊　盖秋艳　 许志杰　张朝龙　黄梓涵　曹衍龙　 黄健　孔超　 (74)专利代理 机构 成都正德明志知识产权代理 有限公司 513 60 专利代理师 杨木梅 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于视频监控的违规丢地垃圾检测方 法 (57)摘要 本发明公开了一种基于视频监控的违规丢 地垃圾检测方法， 包括以下步骤： S1、 采用目标检 测器检测出视频中的垃圾目标框； S2、 对垃圾目 标的运动轨迹进行跟踪， 得到垃圾目标框的跟踪 框； S3、 根据垃圾目标的跟踪框在连续视频帧中 的静止程度， 检测出违规丢弃的垃圾； 本发明解 决了现有检测方法检测准确率低， 以及现有检测 方法无法将违规丢地的垃圾与非违规垃圾进行 区分的问题。 权利要求书3页 说明书8页 附图3页 CN 115049961 A 2022.09.13 CN 115049961 A 1.一种基于 视频监控的违规丢地垃圾检测方法， 其特 征在于， 包括以下步骤： S1、 采用目标检测器 检测出视频中的垃圾目标框； S2、 对垃圾目标的运动轨 迹进行跟踪， 得到垃圾目标框的跟踪框； S3、 根据垃圾目标框的跟踪框在连续视频帧中的静止程度， 检测出违规丢弃的垃圾。 2.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S1中目标检测器包括： 输入端、 Backbo ne模块、 Neck模块和输出端； 所述Backbone模块包括： FOCUS层、 第一CBL层、 CSP1_1层、 第二CBL层、 第一CSP1_3层、 第 三CBL层、 第 一CBAM层、 第二CSP 1_3层、 第 二CBAM层、 第四CBL层、 第五CBL层、 SPP层、 第六CBL 层和第三CBAM层； 所述FOCUS层的输入端作为Backbone模块的输入端， 其输出端与第一CBL层的输入端连 接； 所述第一CBL层的输出端与CSP1_1层的输入端连接； 所述CSP1_1层的输出端与第二CBL 层的输入端 连接； 所述第二CBL层的输出端与第一CSP1_3层的输入端连接； 所述第一CSP1_3 层的输出端与第三CBL层的输入端 连接； 所述第三CBL层的输出端与第一CBAM层的输入端连 接； 所述第一CBAM层的输出端与第二CSP1_3层的输入端连接， 并作为Backb one模块的第一 输出端； 所述第二CSP1_3层的输出端与第二CBAM层的输入端连接； 所述第二CBAM层的输出 端与第四CBL层的输入端连接， 并作为Backbone模块的第二输出端； 所述第四CBL层的输出 端与第五CBL层的输入端连接； 所述第五CBL层的输出端与SPP层的输入端连接； 所述SPP层 的输出端与第六CBL层的输入端连接， 所述第六CBL层的输出端与第三CBAM层的输入端连 接； 所述第三CBAM层的输出端作为Backb one模块的第三输出端； 所述Backb one模块的第一 输出端、 Backbone模块的第二输出端和Backbone模块的第三输出端依次与Neck模块的三个 输入端连接 。 3.根据权利要求2所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述 Neck模块包括3个BiFPN层。 4.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S1中目标检测器的损失函数为： 其中， L1为目标检测器的损失函数， IoU为真实框与预测框的交并比， ρ2(b， bgt)为预测 框的中心点b与真实框中心点bgt的平方欧式距离， c 为真实框与预测框 最小封闭矩形的对角 线长度， ρ2(w， wgt)为预测框的宽度w与真 实框的宽度wgt的平方欧式距离， ρ2(h， hgt)为预测框 的高度h与真实框的高度 hgt的平方欧式距离， cw为真实框与预测框最小封闭矩形的宽， ch为 真实框与预测框最小封闭矩形的高。 5.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S2包括以下分步骤： S21、 将目标检测器首次检测到的垃圾目标框初始化 为对应目标的轨 迹； S22、 采用卡尔曼 滤波预测目标的轨 迹在下一帧中的状态， 得到预测轨 迹； S23、 计算目标检测器在当前帧中得到的垃圾目标框与预测轨 迹的DIoU值； S24、 根据DI oU值， 构建第一代价矩阵；权　利　要　求　书 1/3 页 2 CN 115049961 A 2S25、 根据第一代价矩阵， 对当前帧的垃圾目标框与上一帧中的预测轨迹进行线性匹 配， 删除匹配失败的预测轨迹， 并为匹配失败的垃圾目标框建立待确认轨迹， 将待确认轨迹 作为目标的轨 迹， 并跳转至步骤S2 2中； S26、 在步骤S25中连续多次匹配成功时， 得到确认轨 迹； S27、 根据确认轨迹和当前帧的垃圾目标框的运动信息及外观信息， 构建第二代价矩 阵； S28、 根据第二代价矩阵， 对当前帧的垃圾目标框与确认轨迹进行级联匹配， 在匹配失 败时， 将确认轨 迹作为预测轨 迹， 并跳转至步骤S23中； S29、 在匹配成功时， 将匹配成功的确认轨 迹作为垃圾目标框的跟踪框 。 6.根据权利要求5所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S23中计算垃圾目标框与预测轨 迹的DIoU值的公式为： 其中， SDIoU为垃圾目标框与预测轨迹的DIoU值， Sa为垃圾目标框的面积， Sb为预测轨迹 的面积， c*为预测轨迹与垃圾目标框的最小 封闭矩形的对角线长度， ρ2(b′， bgt′)为预测轨迹 的中心点b ′与垃圾目标框的中心点bgt′的平方欧式距离 。 7.根据权利要求5所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S27中计算第二代价矩阵的公式为： 其中， ci， j为当前帧中第i条确认轨迹与第j个垃圾目标框之间的第二代价矩阵， λ为关 联权重参数， dj为第j个垃圾目标框的位置， yi为第i条确认轨迹对垃圾目标的预测位置， rj 为第j个垃圾目标框通过残差卷积神经网络所提取的用以描述外观信息的128维特征描述 子， 是第 个跟踪框最近匹配成功的10 0个特征描述子集， 为第 个跟踪框最近匹配成 功的特征描述子集 中的第k个特征描述子， Si， j为第j个目标框与第i条确认轨迹对垃圾目 标的预测位置的协方差矩阵， T为矩阵的转置 。 8.根据权利要求7所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述残 差卷积神经网络的损失函数为： 其中， L2为残差卷积神经网络的损失函数， Nb为一个批次中的样本数量， yi为一个批次 中第i个样本所属类别， hl为残差卷积神经 网络输出的特征向量中第l类的分量， 为残差 卷积神经网络输出的特征向量中第i个样本所属类别yi的分量， γ为平衡权重参数， xi为输 入残差卷积神经网络的第i个样本的图像特征， 为类别yi的特征中心， 为二范数平 方。 9.根据权利要求1所述的基于视频监控的违规丢地垃圾检测方法， 其特征在于， 所述步 骤S3包括以下分步骤：权　利　要　求　书 2/3 页 3 CN 115049961 A 3