(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210428195.4 (22)申请日 2022.04.22 (71)申请人 东南大学 地址 211100 江苏省南京市江宁区东 南大 学路2号 (72)发明人 耿可可　成小龙　殷国栋　庄伟超　 王金湘　张宁　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 曹婷 (51)Int.Cl. G06T 17/05(2011.01) G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01) (54)发明名称 一种基于车路协同感知系统的语义地图构 建方法 (57)摘要 本发明公开了一种基于车路协同感知系统 的语义地图构建方法， 涉及智 能驾驶技术领域， 解决了无人驾驶技术中单车感知范围较小语义 地图误差较大的技术问题， 其技术方案要点是利 用车路协同感知 的思想将车端和路侧感知设备 检测的交通参与者数据进行匹配融合； 利用 RangeNet++网络对点云进行语义分割， 再通过 LeGO‑LOAM算法建立点云地图。 对道路全量交通 参与者进行检测识别， 不仅能够为单车实时构建 点云语义地图， 还能够融合各车的点云语义地图 形成大范围的语义地图， 供区域内行驶的所有车 辆使用， 有较好的应用前景， 且该方法所构建的 地图算法结构简单， 语义信息丰富， 建图范围大， 误差小， 且具有较强的鲁棒 性。 权利要求书2页 说明书5页 附图3页 CN 114882182 A 2022.08.09 CN 114882182 A 1.一种基于车路协同感知系统的语义 地图构建方法， 其特 征在于， 包括： S1： 路侧感知设备基于图像与点云实例匹配算法对交通参与者进行实时检测， 得到路 端交通参与者数据， 并获取道路线边界信息； S2： 将所述路端 交通参与 者数据转化为结构化数据 集T1(m)后发送至车端； 其 中， m表示 路端交通 参与者的总数； S3： 车端的激光雷达对点云数据进行采集， 通过RangeNet++网络对点云进行实时语义 分割； S4： 对语义分割后的点云进行后处理操作， 将经后处理操作的点云转化为深度图， 得到 车端交通参与者数据并将其转化为结构化数据集T2(n)； 其中， n表示车端交通参与者的总 数； S5： 车端对结构化数据集T1(m)和结构化数据集T2(n)进行数据集成和数据匹配融合， 得到全量交通 参与者数据； S6： 通过LeGO ‑LOAM算法对语义分割后的点云建图， 得到点云地图， 然后将全量交通参 与者数据在点云地图中进行 可视化， 得到全局点云语义 地图。 2.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S1中， 所述图像与点 云实例匹配算法包括： 先基于YOLACT算法对图像进行实例 分割， 对点云透视投影， 随后对实例 分割后的图像 和透视投影后的点云进 行实例匹配、 目标点云聚类和三 维模型拟合， 融合检测结构， 生 成包 围框， 得到路端交通 参与者数据。 3.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S2中， 所述结构化数 据集T1(m)＝(t11,t12,...,t1m)， 其中,t1m表示第m个路端交通参与者数据， t1m的参数表示 为 (x1m,y1m,z1m)表示第m个路端交通参与者的中 心点坐标； l 1m、 ω1m、 h1m分别表示第m个路端交通参与者包围框的长、 宽、 高； 表示第m个 路端交通 参与者的方向夹角； c1m表示路端第m个 检测目标的类别。 4.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S4中， 所述对语义分 割后的点云进 行后处理操作包括： 对点云缺 失数据进 行补偿， 并对地面点进行移除， 然后将 点云转化为深度图， 对点云进 行聚类和三 维模型拟合， 最后得到车端交通参与者数据， 将车 端交通参与者数据转化为结构 化数据集T2(n)； 其中， T2(n)＝(t21,t22,...,t2n)， 其中,t2n 表示第n个车端交通参与者数据， t2n的参数表示为 (x2n,y2n,z2n)表示第n个车端交通参与者的中心点坐标； l2n、 ω2n、 h2n分别表示第n个车端 交通参与者包围框的长、 宽、 高； 表示第n个车端交通参与者的方向夹角； c2n表示车端第 n个检测目标的类别。 5.如权利要求4所述的语义地图构建方法， 其特征在于， 所述对点云缺失数据进行补偿 包括： 获取关键点， 并对关键点进行扩充， 将每一列的相邻 关键点聚类成一个容器， 若容器 内关键点的个数小于2， 则丢弃此容器， 否则对每个容器在光束索引范围内的非关键点进 行 判断， 决定是否将非关键点纳入该容器中转换为关键点， 判断函数为： 权　利　要　求　书 1/2 页 2 CN 114882182 A 2获取关键点包围的无效点， 若容器内的无效点数量小于30个， 且无效点周围关键点的 欧式距离不超过1.3m， 则将这些无效点通过线性拟合方式进行模拟， 从而对点云缺失数据 进行补偿； 对地面点进行移除包括： 通过RangeNet+ +网络的语义分割结果对地 面点进行移除； 其中， Hz表示高度， i表示点i， Hi表示点i的光束索引， zi表示点i在z轴上的坐标， pheight 表示点云的高度。 6.如权利要求4所述的语义地图构建方法， 其特征在于， 所述将点云转化为深度图， 对 点云进行聚类和三维模型拟合， 最后得到车端交通参与者数据， 将车端交通参与者数据转 化为结构化数据集T2(n)， 包括： 将3D点云(x,y,z)映射 为2D的深度图像( μ, ν )， 映射公式为： 其中： 表示2D深度图的宽， h表示2D深度图的高； fup表示雷达垂直方向上 的上视角范 围， fdown表示雷达垂直方向上的下视角范围； f＝fup+fdown表示垂直方向上的总视角范围； γ 表示点到雷达的距离； 通过BFS聚类算法对点云进行聚类， 对聚类结果通过三维模型拟合得到3D包围框， 然后 得到车端交通 参与者数据及其结构化数据集T2(n)。 7.如权利要求4所述的语义地图构建方法， 其特征在于， 所述步骤S5中， 所述数据集成 包括路侧感知设备和车端的坐标系统一、 数据模型统一和分类分级统一； 所述数据匹配 融合包括： 对重复检测的路端交通参与者数据和车端交通参与者数据进 行匹配， 然后融合车端所缺失的交通 参与者数据。 8.如权利要求7 所述的语义 地图构建方法， 其特 征在于， 所述数据匹配融合包括： S511： 先将结构化数据集T1(m)和结构化数据集T2(n)的坐标系转化为世界坐标系， 转 化后的T1(m)和T2(n)分别表示 为： T1(m)＝[xωm,yωm,zωm,lωm,ωωm,hωm,φωm,cωm]； T2(n)＝[xωn,yωn,zωn,lωn,ωωn,hωn,φωn,cωn]； S512： 根据车端结构化数据集T2(n)的空间位置坐标(xωn,yωn,zωn)构建KD数据结构， 以 路端结构化数据集T1(m)的空间位置坐标(xωm,yωm,zωm)为基准， 基于KD树搜寻算法在T2(n) 中搜索与T1(m)中的第1个数据t11的最邻近的两个车端交通 参与者； S513： 计算t11与最邻近的两个车端交通 参与者之间的马氏距离， 表示 为： 若 小于预设阈值D， 则认为存在重复检测的交通参与者， 取距离最近的车端 交通参与者与路端交通参与者进行匹配， 匹配一致则确认存在重复检测的交通参与者， 匹 配不一致则将此路端交通参与者数据t11添加到车端结构化数据集T2(n)中； 若MD大于预设 阈值D则认为没有重复检测， 将此路端交通参与者数据t11添加到车端结构化数据集T2(n) 中； S514： 重复步骤S511至S513， 直至路端结构化数据集T1(m)中的全部数据都匹配完毕， 得到最终的车端结构化数据集T2(n')， n'≥n。权　利　要　求　书 2/2 页 3 CN 114882182 A 3