(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210553900.3 (22)申请日 2022.05.20 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 江净超　薛安克　黄经州　王建中　 徐哲　缪亚敏　刘军志　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06Q 10/06(2012.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于视频图像的内涝场景下行人风险 评估方法 (57)摘要 本发明公布了一种基于视频图像的内涝场 景下行人风险评估方法， 从内涝场景下的视频图 像中检测出行人， 记录行人的外接矩形框； 分别 构建相应的分类器， 识别出外接矩形框内行人的 性别和年龄段； 从视频图像中分割出水面， 记录 水面的多边形区域； 根据行人外接矩形框与水面 多边形区域的空间关系， 判断出行人是否处于积 水中； 若未处于积水中， 淹没部位为 “无”； 若处于 积水中， 根据人体部位关键点推断出人体淹没部 位； 根据性别 ‑年龄段组合和人体淹没部位计算 行人个体风险指数、 总体风险指数和平均风险指 数， 对行人风险进行评估。 本发明实现了对内涝 场景下行人风险指数的实时动态综合评价， 在应 急管理、 城市排水防涝等领域具有广阔的应用前 景。 权利要求书3页 说明书6页 附图2页 CN 115147771 A 2022.10.04 CN 115147771 A 1.一种基于视频图像的内涝场景下行人风险评估方法， 其特征在于， 该方法包括如下 步骤： 步骤(1)内涝场景 下的行人检测 从内涝场景 下的视频图像中检测出 行人， 记录包 含行人目标的外 接矩形框； 步骤(2)内涝场景 下的行人性别识别 ①构建内涝场景下的行人性别分类器： 将用于二分类的Softmax层及其全连接层替换 Inception ‑v3模型原有Softmax层及其全 连接层， 得到新Inc eption‑v3模型， 将利用内涝场 景下的男性和女性行人图像集训练过的新Inception ‑v3模型作为内涝场景下的行人性别 分类器； ②利用该性别分类 器识别出外 接矩形框范围内行 人的性别； 步骤(3)内涝场景 下的行人年龄段识别 ①构建行人年龄段分类器： 将用于三分类 的Softmax层及其全连接层替换Inception ‑ v3模型原有Softmax层及其全连接层， 得到新Inception ‑v3模型， 将利用内涝场景下的少 年、 壮年和老年行人图像集训练过的新Inception ‑v3模型作为内涝场景下的行人年龄段分 类器； ②利用该年龄段分类 器识别出外 接矩形框范围内行 人的年龄段； 步骤(4)水面分割 ①利用Labelme工具为水面分割准备 所需训练数据集， 训练SegNet模型； ②利用SegNet模型从视频图像中分割出 水面， 记录水面的多边形区域范围； 步骤(5)行 人淹没部位判别 ①根据行人目标外接矩形框与水面多边形区域的空间关系， 判断出行人是否处于积水 当中； ②对于未处于积水当中的行 人， 其淹没部位 为“无”； ③对于处于积水当中的行人， 利用OpenPose检测出外接矩形框范围内行人的人体部位 关键点并存 储； 根据人体部位关键点信息推断出 行人被积水淹没的大致部位； 步骤(6)行 人风险指数评估 ①将行人的性别和年龄段组合作为 脆弱性指标， 将行 人的淹没部位作为 危险性指标； ②确定各个性别和年龄段组合对应的脆弱性指数以及各个淹没部位对应的危险性指 数； ③将行人个体的脆弱性指数与行人个体的危险性指数乘积定义为行人的个体风险指 数； 将视频图像范围内所有行人 的个体风险指数之和定义为行人 的总体风险指数； 将视频 图像范围内所有行 人的个人风险指数的平均值定义 为行人的平均风险指数； ④从视频图像 中提取各个行人个体的性别、 年龄段和人体淹没部位， 根据性别、 年龄段 和人体淹没部位分别得到对应的脆弱性指数和危险性指数， 进而计算得到行人的个体风险 指数、 总体风险指数和平均风险指数。 2.根据权利要求1所述的一种基于视频图像的内涝场景下行人风险评估方法， 其特征 在于： 所述的从内涝场景下的视频图像中检测出行人， 是通过利用YOLOv5模型检测出行人 目标， 得到行 人目标的外 接矩形框 。 3.根据权利要求1所述的一种基于视频图像的内涝场景下行人风险评估方法， 其特征权　利　要　求　书 1/3 页 2 CN 115147771 A 2在于： 所述的内涝场景 下的行人性别识别， 具体包括以下步骤： ①搜集内涝场景下的行人图像， 通过人工判别将行人分为男性和女性两类， 构建内涝 场景下的行人性别图像样本库； ②将用于二分类的Softmax层及其全连接层替换Inception ‑v3模型原有的Softmax层 及其全连接层， 得到新的I nception‑v3模型； ③使用内涝场景下的行人性别图像样本库训练这个新的Inception ‑v3模型的Softmax 层及其全连接层 的参数， 模型其它层 的参数保持不变， 模型优化采用 Adam算法， 得到基于 Inception‑v3模型的内涝场景 下行人性别分类 器； ④获取行人目标的外接矩形框内 图像， 将其输入至该行人性别分类器计算得到行人性 别。 4.根据权利要求1所述的一种基于视频图像的内涝场景下行人风险评估方法， 其特征 在于： 所述的内涝场景 下的行人年龄段识别， 具体包括以下步骤： ①搜集内涝场景下的行人图像， 通过人工判别将行人分为少年、 壮年和老年三类， 构建 内涝场景 下的行人年龄段图像样本库； ②将用于三分类的Softmax层及其全连接层替换Inception ‑v3模型原有的Softmax层 及其全连接层， 得到新的I nception‑v3模型； ③使用内涝场景下的行人年龄段图像样本库训练这个新的Inception ‑v3模型的 Softmax层及其全连接层的参数， 模型其它层的参数保持不变， 模型优化采用Adam算法， 得 到基于Inception‑v3模型的内涝场景 下行人年龄段分类 器； ④获取行人目标的外接矩形框内 图像， 将其输入至该行人年龄段分类器计算得到行人 年龄段。 5.根据权利要求1所述的一种基于视频图像的内涝场景下行人风险评估方法， 其特征 在于： 所述的利用Labelme工具为水面分割准备所需训练数据集， 训练SegNet模 型， 具体为： 利用Labelme工具标注出图像中的水面以及 背景物， 标注后会生 成对应的json文件， 再利用 json文件生成训练SegNet模型所需的数据集； 利用生成 的数据集训练SegNet模型， 模型优 化采用Adam算法。 6.根据权利要求1所述的一种基于视频图像的内涝场景下行人风险评估方法， 其特征 在于： 所述的根据人体部位关键点信息推断出行人被积水淹没的大致部位， 具体为： 步骤 ①:根据存储信息， 依次为左眼、 右眼、 左耳、 右耳、 鼻子、 脖子、 左肩膀、 右肩膀、 左臀部、 右臀 部、 左膝盖、 右膝盖、 左脚踝和右脚踝这些关键点分别创建一个元 组对象[关键点的名称， 关 键点的x值， 关键点的y值和关键点的c值]， x值和y值代表关键点位置信息， c值代表置信度； 将这些元组对 象按照同样的顺序依 次入栈， 入栈完成后， 栈顶的元组对 象为右脚 踝的元组 对象， 栈底的元组对象为左眼的元组对象； 需要说明的是， 若关键点被积水淹没， 会导致关 键点被OpenPose检测不到， 关键点的[x值,y值,c值]会被OpenPose 赋值为[0,0,0]； 步骤②:读取栈顶的元组对象， 判断该元组对象的[x值,y值,c值]是否为[0,0,0]， 若[x 值,y值,c值]为[0,0,0],则该 元组对象出栈， 继续回到步骤 ②； 否则进入步骤 ③； 步骤③:根据该元组对象的关键点名称确定淹没部位， 确定淹没部位的规则如下： ·若关键点名称为左脚踝或右脚踝， 则淹没部位 为脚踝以下； ·若关键点名称为左膝盖或右膝盖， 则淹没部位 为脚踝～膝盖；权　利　要　求　书 2/3 页 3 CN 115147771 A 3