(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210644599.7 (22)申请日 2022.06.08 (71)申请人 中国电子科技 南湖研究院 地址 314002 浙江省嘉兴 市南湖区七 星街 道灵湖南路东20 0米清风榻 (72)发明人 何鎏　孔德磊　徐庶　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨天娇 (51)Int.Cl. G06V 20/52(2022.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 17/08(2006.01) G01S 17/86(2020.01) G01S 7/41(2006.01) (54)发明名称 一种基于混合视觉的低小慢目标识别与定 位方法及系统 (57)摘要 本发明公开了一种基于混合视觉的低小慢 目标识别与定位方法及系统， 通过事件相机检测 视野范围内目标并进行跟踪， 获取目标坐标位 置， 在获得目标坐标位置信息后， 触发云台可见 光相机进行变倍拉伸， 采集拉伸后的目标图像， 对拉伸后的目标图像进行类别检测获得目标对 应的类别信息， 若是感兴趣的低小慢目标， 则触 发激光雷达对目标进行测距， 得到低小慢目标的 距离信息； 主控计算机计算出低小慢目标的运行 轨迹， 并通过人机交互界面与 操作人员进行人机 交互。 本发 明提高了低小慢目标识别 与定位的准 确率， 降低了误报率。 权利要求书2页 说明书6页 附图1页 CN 115035470 A 2022.09.09 CN 115035470 A 1.一种基于混合视觉的低小慢目标识别与定位方法， 应用于低小慢目标识别与定位系 统， 其特征在于， 所述低小慢目标识别与定位系统包括事件相 机、 云台可见光相 机、 激光雷 达和主控计算机， 所述基于混合视 觉的低小慢目标识别与定位方法， 包括： 获取事件相机采集的事 件， 检测视野范围内目标并进行跟踪， 获取目标坐标位置； 在获得目标坐标位置信息后， 触发云台可见光相机进行变倍拉伸， 采集拉伸后的目标 图像； 对拉伸后的目标图像进行类别检测获得目标对应的类别信 息， 若是感兴趣的低小慢目 标， 则进行 下一步的操作， 否则不再关注目标； 对于感兴趣的低小慢目标， 触发激光雷达对目标进行测距， 得到低小慢目标的距离信 息； 将事件相机检测得到的目标坐标位置信 息、 云台可见光相机检测到的类别信 息和激光 雷达检测得到的距离信息， 发送给主控计算机， 所述主控计算机计算出低小慢目标 的运行 轨迹， 并通过 人机交互界面与操作人员进行 人机交互。 2.根据权利要求1所述的基于混合视觉的低小慢目标识别与定位方法， 其特征在于， 所 述在获得目标坐标位置信息后， 触发云台可见光相 机进行变倍拉伸， 其中变倍拉伸对应的 变倍拉伸倍数满足如下关系式： scale＝10 0/max(boundbox(w,h) ) 其中， scale表示变倍拉伸倍数， boundbox(w,h)表示检测框， w和h表示检测框的宽和 高。 3.根据权利要求1所述的基于混合视觉的低小慢目标识别与定位方法， 其特征在于， 所 述事件相机、 云台可 见光相机、 激光雷达同一水平线安装。 4.根据权利要求1所述的基于混合视觉的低小慢目标识别与定位方法， 其特征在于， 所 述获取事 件相机采集的事 件， 检测视野范围内目标并进行跟踪， 包括： 训练脉冲神经网络模型， 将事件相机采集的事件序列输入到训练好的脉冲神经网络模 型进行目标的检测 和跟踪。 5.根据权利要求1所述的基于混合视觉的低小慢目标识别与定位方法， 其特征在于， 所 述对拉伸后的目标图像进行类别检测获得目标对应的类别 信息， 包括： 对拉伸后的目标图像使用卷积神经网络进行目标检测， 得到目标对应的类别 信息。 6.一种基于混合视觉的低小慢目标识别与定位系统， 其特征在于， 所述基于混合视觉 的低小慢目标识别与定位系统包括事件相机、 云台可见光相机、 激光雷达和主控计算机， 其 中： 事件相机， 用于采集事 件， 检测视野范围内目标并进行跟踪， 获取目标坐标位置； 云台可见光相机， 用于在获得目标坐标位置信 息后， 进行变倍拉伸， 采集拉伸后的目标 图像， 对拉伸后的目标图像进行类别检测获得目标对应的类别 信息； 激光雷达， 用于在检测到目标是感兴趣的低小慢目标， 则对目标进行测距， 得到低小慢 目标的距离信息； 主控计算机， 用于姐姐收事件相机检测得到的目标坐标位置信息、 云台可见光相机检 测到的类别信息和激光雷达检测得到的距离信息， 计算出低小慢目标 的运行轨迹， 并通过 人机交互界面与操作人员进行 人机交互。权　利　要　求　书 1/2 页 2 CN 115035470 A 27.根据权利要求6所述的基于混合视觉的低小慢目标识别与定位系统， 其特征在于， 所 述云台可 见光相机进行变倍拉伸， 其中变倍拉伸对应的变倍拉伸倍数满足如下关系式： scale＝10 0/max(boundbox(w,h) ) 其中， scale表示变倍拉伸倍数， boundbox(w,h)表示事件相机检测框， w和h表示检测框 的宽和高。 8.根据权利要求6所述的基于混合视觉的低小慢目标识别与定位系统， 其特征在于， 所 述事件相机、 云台可 见光相机、 激光雷达同一水平线安装。 9.根据权利要求6所述的基于混合视觉的低小慢目标识别与定位系统， 其特征在于， 所 述事件相机检测视野范围内目标并进行跟踪， 包括： 训练脉冲神经网络模型， 将事件相机采集的事件序列输入到训练好的脉冲神经网络模 型进行目标的检测 和跟踪。 10.根据权利要求6所述的基于混合视觉的低小慢目标识别与定位系统， 其特征在于， 所述云台可 见光相机对拉伸后的目标图像进行类别检测获得目标对应的类别 信息， 包括： 对拉伸后的目标图像使用卷积神经网络进行目标检测， 得到目标对应的类别 信息。权　利　要　求　书 2/2 页 3 CN 115035470 A 3