(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210413332.7 (22)申请日 2022.04.20 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 李骏　张新钰　李志伟　黄朝胜　 金宪伟　周沫　吴新刚　李金伦　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/52(2022.01)G06V 10/74(2022.01) (54)发明名称 一种基于多视角和重识别的路口车辆定位 方法及系统 (57)摘要 本发明公开了一种基于多视角和重识别的 路口车辆定位方法及系统， 基于路侧设备部署的 多视角相机实现， 所述方法包括： 对多视角相机 采集的路口原始图像进行预处理； 对 预处理后的 视角图像依次进行特征提取、 透视变换和聚合， 生成路口车辆的分布鸟瞰图； 将路口原始图像输 入预先建立和训练好的车辆检测模 型， 得到路口 车辆的搜索域； 接收路口的车辆发送的环视图片 和id信息， 在搜索域中重识别该车辆， 得到该车 辆的某一视角图片； 对重识别得到的某一视角图 像进行特征提取和透视变换， 并投影到鸟瞰图 中， 得到车辆在鸟 瞰图中的位置信息； 将位置信 息及该车辆的id信息发送至 该车辆， 从而完成定 位。 权利要求书2页 说明书7页 附图1页 CN 114782865 A 2022.07.22 CN 114782865 A 1.一种基于多视角和重识别的路口车辆定位方法， 基于路侧设备部署的多视角相机实 现， 所述方法包括： 步骤1)对多视角相机采集的路口原 始图像进行 预处理； 步骤2)对预处理后的视角图像依次进行特征提取、 透视变换和聚合， 生成路口车辆的 分布鸟瞰图； 步骤3)将路口原始图像输入预先建立和训练好的车辆检测模型， 得到路口车辆的搜索 域； 步骤4)接收路口的车辆发送的环视图片和id信息， 在搜索域中重识别该车辆， 得到该 车辆的某一视角图像； 步骤5)对重识别得到的某一视角图像进行特征提取和透视变换， 并投影到鸟瞰图中， 得到车辆在鸟瞰图中的位置信息； 步骤6)将位置信息及该 车辆的id信息发送至该 车辆， 从而完成定位。 2.根据权利要求1所述的基于多视角和重识别的路口车辆定位方法， 其特征在于， 所述 步骤1)的预处 理包括白化和去噪处 理。 3.根据权利要求1所述的基于多视角和重识别的路口车辆定位方法， 其特征在于， 所述 步骤2)具体包括： 步骤2‑1)将预处理后的视角图像依次输入预先建立和训练好的特征提取模型， 得到每 个视角图像对应的特 征； 步骤2‑2)通过联合旋转 ‑平移矩阵对每个视角图像对应的特征进行转换， 使用采样网 格， 根据透视变换将每个视角图像依 次投影到地平面， 视野外的区域用固定值填充得到特 征图； 步骤2‑3)使用2通道的坐标图记录平面位置的X ‑Y坐标， 将经过透视变换的多个视角特 征图和坐标图按通道方向进行拼接， 得到(N ×C+2)个通道的平面特征图， 即为该路 口车辆 分布的鸟瞰图， 其中， N 为视角图片个数， C为每 个视角得到的特 征图通道数。 4.根据权利要求3所述的基于多视角和重识别的路口车辆定位方法， 其特征在于， 所述 特征提取模型采用ResNet5 0作为主干网络 。 5.根据权利要求1所述的基于多视角和重识别的路口车辆定位方法， 其特征在于， 所述 步骤3)的车辆检测模型采用以VGG ‑16网络为主干网络的SSD网络， 并将VGG ‑16网络第五层 的最大池化部分的池化核设置为3 ×3、 步距设置为1； 车辆检测模型的输入为设定尺寸的路口原 始图像， 输出为路口车辆的搜索域。 6.根据权利要求1所述的基于多视角和重识别的路口车辆定位方法， 其特征在于， 所述 步骤4)具体包括： 步骤4‑1)接收路口待识别车辆发送的id信息和包括前、 后、 左和右四张环视图片， 并统 一剪裁为一定尺寸； 步骤4‑2)将剪裁后的图片输入Transformer网络， 获得待识别车辆的特征， 结合搜索域 中的车辆特 征， 计算得到待识别车辆与搜索域中车辆的余弦相似度； 步骤4‑3)根据余弦相似度确定待识别车辆某一视角图像。 7.一种基于多视角和重识别的路口车辆定位系统， 其特征在于， 所述系统设置在路测 设备， 包括预 处理模块、 鸟瞰图生成模块、 搜索域生 成模块、 重识别模块和定位模块、 定位 发权　利　要　求　书 1/2 页 2 CN 114782865 A 2送模块和车辆检测模型， 其中， 所述预处 理模块， 用于对多视角相机采集的路口原 始图像进行 预处理； 所述鸟瞰图生成模块， 用于对预处理后的视角图像依次进行特征提取、 透视变换和聚 合， 生成路口车辆的分布鸟瞰图； 所述搜索域生成模块， 用于将路口原始图像输入预先建立和训练好的车辆检测模型， 得到路口车辆的搜索域； 所述重识别模块， 用于接收路口的车辆发送 的环视图片和id信息， 在搜索域中重识别 该车辆， 得到该 车辆的某一视角图像； 所述定位模块， 用于对重识别得到的某一视角图像进行特征提取和透视变换， 并投影 到鸟瞰图中， 得到车辆在鸟瞰图中的位置信息； 所述定位发送模块， 用于将位置信息及该 车辆的id信息发送至该 车辆， 从而完成定位。 8.一种终端设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6中 任一项所述的方法。 9.一种非易失性存储介质， 用于存储计算机程序， 其特征在于， 所述计算机程序当被处 理器执行时执行权利要求1至 6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114782865 A 3