(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210371593.7 (22)申请日 2022.04.11 (71)申请人 中智行 （苏州） 科技有限公司 地址 215100 江苏省苏州市相城区南天 成 路88号天成信息大厦601-B11工位(集 群登记) (72)发明人 郑文勇　张昆霭　刘亚辉　 (74)专利代理 机构 南京利丰知识产权代理事务 所(特殊普通 合伙) 32256 专利代理师 陈志军 (51)Int.Cl. G01S 17/86(2020.01) G01S 17/931(2020.01) G06V 20/64(2022.01) G06V 10/762(2022.01) (54)发明名称 一种基于车路协同的类别重召回的感知识 别方法、 装置、 设备及 介质 (57)摘要 本发明公开了一种基于车路协同的类别重 召回的感知识别方法， 涉及车路协同技术领域， 包括通过路端三维激光雷达扫描得到点云数据， 通过路端相机拍摄得到二维图片； 对点云数据进 行聚类； 对点云数据进行三维检测， 并记录未被 识别出的点 云团； 对路端三维激光雷达和路端相 机进行标定， 得到转换矩阵； 通过转换矩阵得到 所有未被识别出的点云团在二维图片中的位置， 并用最小矩形包围框将其截取， 得到图片块； 通 过分类网络模 型对图片块进行分类， 得到每个图 片块的类别标签以及其头部的朝向角度信息。 本 发明使用相机的二维图片对激光雷达的三维漏 检对象进行重召回， 不仅能提高感知识别的召回 率和准确率， 还能有效的节约车身传感器的成 本。 权利要求书2页 说明书6页 附图3页 CN 114994699 A 2022.09.02 CN 114994699 A 1.一种基于车路协同的类别重召回的感知识别方法， 其特 征在于： 包括， 通过路端三维激光雷达扫描得到点云数据， 同时通过路端相机拍摄得到二维图片； 对所述点云数据进行聚类， 得到若干个互相分离的点云团； 使用三维检测算法对所述点云数据进行三维检测， 并记录未被三维检测算法识别出的 所述点云团； 对路端三维激光雷达和路端相机进行 标定， 得到点云到图片的转换矩阵； 通过所述转换矩阵得到所有未被三维检测算法识别出的所述点云团在二维图片中的 位置， 并用最小矩形包围框将其从二维图片中进行截取， 得到若干个图片块； 通过分类网络模型对所述图片块进行分类， 得到每个所述图片块的类别标签以及其头 部的朝向角度信息 。 2.根据权利要求1所述的基于车路协同的类别重召回的感知识别方法， 其特征在于： 所 述三维检测算法包括Center  Point算法。 3.根据权利要求2所述的基于车路协同的类别重召回的感知识别方法， 其特征在于： 所 述使用三 维检测算法对所述点云数据进行三 维检测， 并记录未被三 维检测算法识别出的所 述点云团包括， 使用Center  Point算法对所述点云数据进行三维检测， 得到若干类三维包围框， 并给 每个三维包围框赋予对应的类别标签； 记录没有得到类别标签的所述 点云团。 4.根据权利要求1所述的基于车路协同的类别重召回的感知识别方法， 其特征在于： 所 述通过转换矩阵得到所有未被三维检测 算法识别出的所述点云团在二维图片中的位置包 括， 通过公式[u,v,1]=Mt*[x,y,z,1]计算所述点云团在二维图片中的位置， 其中， u、 v表示 该点云在 二维图片中 的像素点位置， x、 y、 z表示点云的三维坐标， Mt表示点云到图片的转换 矩阵。 5. 根据权利要求1所述的基于车路协同的类别重召回的感知识别方法， 其特征在于： 所述分类网络模块包括Ef ficient Net网络模型。 6.一种基于车路协同的类别重召回的感知识别装置， 其特 征在于： 包括， 传感器模块， 包括路端三维激光雷达和路端相机， 分别用于扫描得到点云数据和拍摄 得到二维图片； 点云聚类模块， 用于对所述路端三维激光雷达扫描得到的点云数据进行聚类， 得到若 干个互相分离的点云团； 三维检测模块， 用于对所述路端三维激光雷达扫描得到的点云数据进行三维检测， 并 记录未被三维检测算法识别出的所述 点云团； 标定模块， 用于对路端三维激光雷达和路端相机进行标定， 得到点云到 图片的转换矩 阵； 计算模块， 用于通过所述转换矩阵计算得到所有未被三维检测算法识别出的所述点云 团在二维 图片中的位置， 并用最小矩形包围框将其从二维 图片中进行截取， 得到若干个图 片块； 分类模块， 用于通过分类网络模型对所述图片块进行分类， 得到每个所述图片块的类权　利　要　求　书 1/2 页 2 CN 114994699 A 2别标签以及其头 部的朝向角度信息 。 7.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于： 所述处理器执行所述程序时实现如权利要求 1~5中任一项 所述的方法。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于： 所述程序被处理器 执行时实现如权利要求1~5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114994699 A 3