(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317073.8 (22)申请日 2022.03.29 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路 三号巷11号 (72)发明人 任涛　冯宇振　张予舒　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种监控视频中暴力行为检测系统及方法 (57)摘要 本发明提供一种监控视频中暴力行为检测 系统及方法， 属于深度学习领域； 获取室内外场 所中监控摄像头所拍摄的视频数据， 该视频数据 以视频流的形式推送到运行算法的服务器； 将部 分视频图像数据至少标注有是否包含暴力行为 以及暴力行为发生的区域范围； 将带有是否包含 暴力行为标签的视频图像数据输入到P3D网络 中， 将模型训练得到暴力行为分类模型； 将带有 暴力区域发生范围标签的视频图像数据输入到 CenterNet 目标检测网络中， 将模型训练到到暴 力行为目标检测模型； 将从监控摄像头实时获取 的视频图像数据输入到暴力行为 分类模型、 暴力 行为目标检测模型， 得到暴力行为检测结果； 将 所述暴力行为检测结果发送至运行的用户终端。 权利要求书2页 说明书6页 附图2页 CN 114782860 A 2022.07.22 CN 114782860 A 1.一种监控视频中暴力行为检测系统， 其特征在于， 具体包括数据抽取模块、 数据 标注 模块、 图像增强模块、 模型训练模块、 暴力行为检测模块以及监控日志模块； 所述数据抽取模块从监控摄像头推送的视频流数据抽取图像帧， 输出到数据标注模 块； 数据标注模块对图像 帧标注是否包含暴力行为以及暴力行为发生的区域， 并输出到图 像增强模块； 图像增强模块依据标注后的帧图像的质量对其进 行锐化、 直方图均衡化、 分辨 率调整处理， 并输出到模型训练模块； 模型训练模块对其进 行训练， 训练结束得到暴力行为 检测模块； 暴力行为检测模块对新输入的未经标注的图像增强 图片进行检测， 最后将输出 结果存入监控日志模块。 2.根据权利要求1所述的一种监控视频中暴力行为检测系统， 其特征在于， 所述暴力行 为检测模块包含暴力行为分类模型、 暴力行为 目标检测模型； 未经标注图片先输入到图像 增强模块进 行处理， 然后送入到暴力行为检测模块； 在暴力行为检测模块中， 图片先经过暴 力行为分类模型输出分类结果， 根据分类结果， 把包含暴力行为的图片抽取出来， 输入到暴 力行为目标检测模型中， 输出暴力行为发生的位置 。 3.一种监控视频中暴力行为检测方法基于权利要求1所述一种监控视频中暴力行为检 测系统实现， 其特 征在于， 包括下列步骤： 步骤1： 获取室内外场所中监控摄像头所拍摄的视频数据， 该视频数据以视频流的形式 推送到视频抽取模块， 视频抽取模块对视频数据进行抽帧处理， 抽取一定量的视频数据图 像； 步骤2： 将抽取到的视频数据图像标注是否包含暴力行为以及暴力行为发生的区域范 围； 步骤3： 将标注后的视频数据图像， 输入到图像增强模块， 根据分辨率、 光线因素进行图 像增强， 使用直方图均衡化显著增强图像对比度， 并根据需要， 适当调整视频数据图像的分 辨率； 步骤4： 将经过步骤3处理的视频数据图像输入到模型训练模块， 得到暴力行为检测模 块； 步骤5： 将监控摄像头实时获取的视频图像数据输入暴力行为分类模型得到暴力行为 分类结果， 得到每一帧送入 模型的图像包 含暴力行为的评分； 步骤6： 依据暴力行为分类模型的结果， 选择前k个评分最高的图像， 保持其原本在视频 流中的顺序， 组成一个新的图像序列； 步骤7： 将前k个评分最高的图像序列输入暴力行为目标检测模型得到暴力行为目标检 测结果， 得到每一张送入模型 的图像发生暴力行为发生区域的中心点坐标、 区域的长宽以 及该区域的置信度； 步骤8： 最后将暴力行为检测结果发送至运行的用户终端并存 入日志模块； 步骤9： 定期选择部分监控数据进行重新标注， 送入暴力行为检测模块进行测试， 计算 分类的准确率和目标检测的IOU， 得到检测效果不好的图像帧； 用检测效果不好的图像帧训 练并改善暴力行为分类模型和暴力行为目标检测模型； 通过训练得到监控视频中暴力行为分类模型对视频监控摄像头传回的视频流中抽取 的视频图片进行分类， 并选出包含暴力行为的图片， 监控视频中暴力行为 目标检测模型可 对这些图片进行进一 步的检测， 实现高精度的暴力行为区域目标检测。权　利　要　求　书 1/2 页 2 CN 114782860 A 24.根据权利要求3所述的一种监控视频中暴力行为检测方法， 其特征在于， 所述步骤4 具体为： 步骤4.1： 将标注是否包含暴力行为并进行图像增 强的视频数据图像输入到3d卷积神 经网络中， 将模型训练得到暴力行为分类模型； 步骤4.2： 将标注暴力区域发生范围并进行图像增强的视频数据图像输入到CenterNet 目标检测网络中， 将模型训练到 到暴力行为目标检测模型。 5.根据权利要求4所述的一种监控视频中暴力行为检测方法， 其特征在于， 所述所述3d 卷积神经网络使用P3D的卷积结构， 将3d卷积被分解 为2d空间卷积和1d时间卷积。 6.根据权利要求4所述的一种监控视频中暴力行为检测方法， 其特征在于， 所述训练 CenterNet需要最小化损失函数， CenterNet的损失函数包含三个各部分： 关键点预测损失、 离散偏移预测损失以及预测框大小损失。 7.根据权利要求4所述的一种监控视频中暴力行为检测方法， 其特征在于， 所述步骤 4.2具体为： 步骤4.2.1： 关键点预测损失 公式如下： 其中， Lk为关键点预测损失， N为输入图像中的关键点数， α和β 为超参数， 为预测结 果， yxyc为真实结果； xy表示图片像素的坐标， c表示类别； 步骤4.2.2： 为了修 正预测的关键点， 引入了 离散偏移预测损失， 公式如下： 其中， Loff为离散偏移预测损失， R为输入图像中的关键点数， 为预测的偏移量， 为预 测的关键点 位置， 而p为真实的关键点 位置； 步骤4.2.3： 要预测暴力行为发生的区域除了有关键点之外， 还要预测标记暴力行为发 生区域的边框的长 宽， 进而引入预测框大小损失， 公式如下： 其中， Lsize为预测框大小损失， 预测的长 宽， Sk为实际的长 宽； 步骤4.2.4： 最后， 将三个损失函数整合成一个总的损失函数， 只要最小化该损失函数 就使目标检测模型收敛了： Ldet＝Lk+λsizeLsize+λoffLoff 其中， Ldet为总的损失函数， λsize为离散偏移预测损失的权重， 通常设置为0.1， λoff为和 预测框大小损失的权 重， 通常设置为1。权　利　要　求　书 2/2 页 3 CN 114782860 A 3