(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588607.0 (22)申请日 2022.05.26 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 冯苑君　黄玉春　孟小亮　田浩辰　 李昊澄　刘易琳　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 20/54(2022.01) G06V 10/25(2022.01)G06V 10/28(2022.01) G01S 13/72(2006.01) G01S 13/86(2006.01) (54)发明名称 一种基于毫米波雷达和机器视觉的路侧绿 化监控方法 (57)摘要 本发明提供一种基于毫米波雷达和机器视 觉的路侧绿化监控方法。 本发明利用视频检测技 术能精准识别行人， 结合毫米波雷达检测技术能 够直接获取物体运动位置、 速度信息的特点， 二 者技术取长补短， 在保证检测精度的情况下， 大 大提高了对行人破坏路侧绿化带行为监测的效 率。 并且， 本发明依托现有交通杆上的雷视一体 机道路状态监控设备完成数据采集、 行为判断、 统计分析等功能， 无需安装新设备， 对现有绿化 环境破坏小， 施工成本低； 且减少数据传输量， 降 低对城市绿化部门设备性能的要求。 本发明增强 了对路侧绿化带的监控力度， 能够及时发现城市 各处绿化问题， 共建人与环境和谐共存的城市系 统。 权利要求书3页 说明书9页 附图2页 CN 114998790 A 2022.09.02 CN 114998790 A 1.一种基于毫米波雷达和机器视觉的路侧绿化监控方法， 其特征在于： 包括行人检测 和行为判断统计两个大步骤； 行人检测包括如下步骤： 步骤S11， 在交通卡口架设毫米波雷达与摄像头， 实时获取毫米波和视频信号， 利用视 频图像识别技 术从视频中提取监控范围内的绿化带 范围； 步骤S12， 根据速度从毫米波雷达点云中粗筛 选出属于行 人的位置信息； 步骤S13， 将行人位置由毫米波雷达坐标系转换到图像二维平面坐标系后， 仅保留绿化 带范围内的行 人位置； 步骤S14， 根据绿化带内的行 人位置信息， 生成目标感兴趣区域， 并据此截取视频信号； 行为判断统计包括如下步骤： 步骤S21， 根据截取的视频信号， 首先进行行人检测， 然后对行人目标进行目标跟踪检 测， 生成其在绿化带内的运动轨 迹； 步骤S22， 计算绿化带内运动轨迹的长度， 若大于一定阈值， 则认为该行人存在破坏路 侧绿化的行为； 步骤S23， 当一个区域内的绿化破坏行为次数累积到一定程度， 则向城市绿化相关部门 上报。 2.如权利要求1所述的一种基于毫米波雷达和机器视觉的路侧绿化监控方法， 其特征 在于： 所述步骤S11中， 从视频的多帧影像中提取绿化带范围时， 由于 绿化带的颜色和路面、 车道线不属于一个色系， 具有比较鲜明的对比效果， 故采取了基于颜色特征 的图像分割 策 略， 具体实现方式如下： 步骤S111， 在RGB颜色空间中， 利用植物的G分量较其他两个分量值 高的特性， 进行二值 化操作， 实现对植物和道路的区分； 二值化区分植物和道路的公式为： 其中， Rvalue、 Gvalue、 Bvalue分别为原始图象上某一像素 的红、 绿、 蓝三分量值， p为二值化 后对应像素的值， p＝1时表示此处为 植物； 步骤S112， 对二值化后的图像做闭运 算， 得到成片亮区； 步骤S113， 基于路侧绿化带条带状分布的特征， 将步骤S112中的亮区简化为规则矩形， 作为绿化带 范围。 3.如权利要求1所述的一种基于毫米波雷达和机器视觉的路侧绿化监控方法， 其特征 在于： 所述 步骤S12的具体实现方式如下： 利用步骤S11中毫米波雷达探测到的速度信息， 从毫米波雷达点云数据中将行人与车 辆物体区分开； 行人行走、 跑动的速度区间为1.75m/s ‑10m/s， 若对应速度值在此区间内， 则 认为其属于行 人类， 提取 出位置信息， 去除干扰项。 4.如权利要求1所述的一种基于毫米波雷达和机器视觉的路侧绿化监控方法， 其特征 在于： 所述 步骤S13的具体实现方式如下： 步骤S131， 将步骤S12中的行人运动的位置信息由毫米波雷达坐标系转换到图像二维 平面坐标系；权　利　要　求　书 1/3 页 2 CN 114998790 A 2令摄像头坐标系为Oc‑XcYcZc， 以摄像头光心为原点， 以主光轴为Zc轴， Xc轴指向地面； 令 毫米波雷达坐标系为Or‑XrYrZr， 以其几何中心为原点， Zr轴垂直于发射面， Xr轴指向雷达左 侧； 三维世界坐 标系为Ow‑XwYwZw， 图像二维平面坐 标系为Op‑XpYpZp； 从而， 毫米波雷达 坐标系 向图像二维坐标系的转换可分解为： 先毫米波雷达转换到世界坐标系中， 再将世界坐标系 转换到摄 像头坐标系中， 最后由摄 像头坐标系转换到图像二维坐标系； 毫米波雷达坐标系与世界坐标系的转换公式如下： 其中， H为毫米波雷达在世界坐标系内的高度值， 1和L 分别为Ow与Or在Xr方向和Zr方向的 偏移量， D与α为毫米波雷达采集信号， 其中D代表行人与毫米波雷达设备的距离， α为方位 角； 世界坐标系与摄 像头坐标系的转换公式如下： 其中， R为摄 像头外部参数旋转矩阵， t为摄 像头外部参数平 移向量； 摄像头坐标系与图像二维坐标系的转换公式如下： 其中， f为摄 像头焦距， (dx， dy)为像素的物理尺寸， (Xp0， Yp0)为摄像机主点偏移量； 综上， 毫米波雷达坐标系与图像二维坐标系的转换公式如下： 步骤S132， 基于毫米波雷达和摄像头采样频率的差异， 采取间隔多帧选取一次数据的 方式来实现对毫米波雷达和摄 像头的时间坐标系对准； 步骤S133， 在图像二维坐标系中， 判断步骤S131中的行人位置是否落在步骤S113中的 绿化带矩形内。 5.如权利要求4所述的一种基于毫米波雷达和机器视觉的路侧绿化监控方法， 其特征 在于： 步骤S14具体实现方式如下： 根据先验知识， 以步骤S132中的行人位置为中心， 在图像二维坐标系下创建一个高2m， 即国内常见男性身高上限， 宽高比为0.41的目标感兴趣区域； 目标感兴趣区域的参数计算公式为：权　利　要　求　书 2/3 页 3 CN 114998790 A 3