(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210563093.3 (22)申请日 2022.05.18 (71)申请人 湖北大学 地址 430062 湖北省武汉市武昌区友谊大 道368号 (72)发明人 宋建华　李庚睿　王时绘　王业率　 马传香　张龑　黄辰　李亚敏　 何鹏　杨超　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 张晓博 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/52(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种攻击行为预警方法及系统 (57)摘要 本发明涉及一种攻击行为预警方法及系统。 采用的技术方案是： 包括监控端和数据处理端。 所述监控端设置在被监控空间顶部， 用于拍摄监 控范围内的行人图像， 并利用内置的轻量神经网 络识别当前图像是否包含行人， 当所述图像中包 含行人时， 跟踪可能发生攻击行为的躯干器官， 并将实时摄像画面传输至系统数据处理端； 所述 数据处理端将计算该目标行为动作特征， 利用实 时摄像画面中截取的躯干部位移动路径计算运 动距离， 通过结合行为耗费的时间计算行为特 征， 与数组的攻击行为对比， 当符合危险行为报 警条件后， 将向当前区域治安管 理人员发送警报 信息。 本发明的有益效果： 智能算法比对、 及时发 现群体异常行为、 有效辅助系统监控 管理人员提 前进行科学预警。 权利要求书3页 说明书6页 附图2页 CN 114821808 A 2022.07.29 CN 114821808 A 1.一种攻击行为预警系统， 其特 征在于： 所述该系统包括 监控端和数据处 理端； 所述监控端设置在被监控空间顶部， 用于拍摄监控范围内的行人图像， 并利用内置的 轻量神经网络识别当前图像是否包含行人， 当所述图像中包含行人时， 跟踪可能发生攻击 行为的躯 干器官， 并将实时摄 像画面传输 至系统数据处 理端； 所述数据处理端将计算该目标行为动作 特征， 利用实时摄像画面中截取的躯干部位移 动路径计算运动距离， 通过结合行为耗费 的时间计算行为特征， 与数组的攻击行为对比， 当 符合危险行为报警条件后， 将向当前区域治安管理人员发送警报信息 。 2.根据权利要求1所述的一种攻击行为预警系统， 其特 征在于， 包 含以下实现方法： Step1： 构建行 人检测和攻击部位跟踪网络； 1)使用FASTER  R‑CNN算法对视频各帧进行人脸检测。 在预警系统工作时， 首先将实时 摄像图片归一化为长宽为448像素、 3通道的格式； 然后经过17次卷积和4次池化后， 图片将 被转换为7 ×7像素、 30通道的特征图。 对每一行人而言， 其位置信息以数组形式存在， 该数 组包含2个值， 分别为bx、 by， 其中bx、 by分别为包含该行人的矩形边框中心点横纵坐标； 位 置信息以数组形式存在， 即包含行人的边框的中心 位置， 边框通常为矩形框。 位置数组包含 2个值依次为数组位置中心点的坐标bx， by； 2)使用Residual  Pose算法对行人肢体部位进行跟踪识别。 该预警系统在监测范围内 检测到行人时， 利用Residual  Pose算法对 行人可能发生攻击行为的部位进 行跟踪， 例如肘 部、 手腕、 脚踝、 膝盖等。 Step2： 进行行为特征提取， 该特征提取模块提取特征分为样本特征提取和实时特征提 取两种情况。 在两种情况下， 都可以将攻击行为划分为攻击实施阶段和攻击截止阶段。 在本 系统中， 首先进行样本特征提取。 样本特征提取方法是预获取样本场景图像及其中人员信 息， 样本场景可以包括咖啡厅、 餐厅等营业场所， 也可以包括体育场、 公园等活动场所， 图像 中获取到的人员位置用矩形框标记， 其矩形框中心位置信息(bx， by)用一维向量存储， 样 本 场景的行人将做出拳击、 挥手、 伸手等动作； 实时特征通过视频监控系统中当前需要监控的 对象进行实时特 征提取； Step3： 建立攻击行为数组方法， 本过程中将攻击行为分为攻击阶段和截止阶段。 定义 攻击阶段为： 攻击行为产生而尚未达成目的或造成伤害； 定义截止阶段为： 攻击行为因击中 或未击中目的时的停顿行为。 使用FASTER  R‑CNN对监控范围内的目标人物进行识别， 在识 别出行人后， 然后使用Residu al Pose算法对攻击行为发生部位(如肩膀、 肘部、 手腕、 膝盖 和脚踝)进行识别跟踪， 通过识别跟踪得到攻击动作部位 坐标s； 1)通过对移动距离进行对时间的微分， 获取攻击行为发生时的行为速度， 计算公式为： v＝ds/dt； 2)通过对行为速度进行对时间的微分获取攻击行为的加速度， 计算公式为： a＝dv/dt； 建立攻击行为关于v和a的数组， Step2中提取的样本特征和实时特征两种特征均包含v 和a两种数组。 Step4： 实时行为监测判断， 在攻击预警系统实时工作过程中， 速度采样频率可设计为 每秒6‑10次， 使用的采样频率为每秒钟8次， 对应时间间隔0.125s。 设定攻击行为累计数 count， 为每次攻击行为进行计数。 一次异常行为被判定为攻击行为时， count会增加； 当异 常行为被判定为危险性较大 的攻击行为时， 如多人斗殴、 剧烈攻击行为等会使攻击行为计权　利　要　求　书 1/3 页 2 CN 114821808 A 2数count增 加值更大； Step5： 设置报警模块， 在本系统持续运作期间， 报警计数count出现变化， 即可启动预 设应急预案 。 3.根据权利 要求2所述的一种攻击行为预警系统， 其特征在于： 所述Step2中， 对攻击示 范样本的行为特 征提取过程介绍如下： Step2.1： 将样本行为进行预分类， 根据攻击与否分为攻击性行为与非攻击性行为两 类， 然后剔除掉非攻击性行为样本， 形成只有攻击行为的样本特征数组。 依据给定的分类， 将样本图像用Step3中的方法， 用Residual  Pose算法提取出图片中攻击部位的坐标位置s， 对攻击部位进行追踪。 对预选中被标记为攻击行为的视频片段， 记录其跟随时间变化的位 移量， 形成位移数组( s1,s2,…， sn)； 对于位移数据进行时间的微分形成速度数组(v1, v2,…,vn)； 对速度数组进行时间的微分获得加速度数组(a1,a2, …,an)。 然后将每个样本 数组按照攻击行为的不同阶段 人工手动划分为 攻击实施阶段和攻击截止阶段两个子数组； Step2.2： 对于预设定为攻击行为一类的样本图像， 对所有样本视频片段中的攻击行为 时长统计， 取攻击时长最大时间为归一化目标时长， 并对攻击行为进 行归一化处理， 归一化 的功能是： 将所有攻击行为数据片段都设置为相同的归一化 目标时长， 从而可用相同的方 式进行采样或者对比处 理； Step2.3： 根据提取对应攻击行为获得的速度与加速度数据， 对每次攻击行为采样n次 实时速度， n取8， 拟合绘制攻击行为特征曲线。 该拟合方法适合于样本特征和实时特征， 以 拟合样本特 征为例， 综合全部攻击行为样本归纳出攻击行为特 征方程为： Vdbi(t)＝aet+bt5+ct4+dt3+ht2+kt+m； Adbi(t)＝aet+5bt4+4ct3+3dt2+2ht+n； 其中a、 b、 c、 d、 h、 k、 m、 n 为系数， i ＝1,2； 攻击实施阶段和攻击截止阶段的两个方程分别为： Vdb1(t)， Adb1(t)以及Vdb2(t)， Adb2(t)。 4.根据权利 要求2所述的一种攻击行为预警系统， 其特征在于： 所述Step3中， 当FASTER   R‑CNN行人监测网络检测到当前监控区域出现行人， 开始对目标方框进行Residual  Pose攻 击部位跟踪。 获取实时特征的速度数组和加速度数组。 对当前行为采样获取归一化(根据 Step2.2进行处理得到)后的当前行为特征片段数据Vpre(t)， Apre(t)。 特征片段数据又可 以划分为攻击实施阶段和攻击截止阶段， 分别为Vpre1(t)， Apre1(t)和Vpre2(t)， Apre2 (t)。 实时特征的攻击实施阶段和攻击截止阶段划分方法： 设速度数据的最大值的时间为划 分时间th， 小于划分时间th的为 攻击实施阶段， 大于划分时间th的为 攻击截止阶段； 1)在v和a的数组中取归一化后的特征片段数据(攻击实施阶段和攻击截止阶段)： Vdb1 (t),Adb1(t)， Vdb2(t),Adb2(t)， 然后使用以下公式做差值计算： 其中tmax为归一 化后片段的统一时长； 2)判断Li的取值范围： 当L1+L2值小于阈值 Lm时， 认定为 一次攻击行为； 当L1+L2值大于Lm、 小于L n时， 判断方法；权　利　要　求　书 2/3 页 3 CN 114821808 A 3