(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206030.9 (22)申请日 2022.09.29 (71)申请人 华人运通 （上海） 自动驾驶科技有限 公司 地址 201100 上海市闵行区苏召路1628号2 幢C084室 (72)发明人 路晓冬　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 麦小婵 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G01S 17/86(2020.01) G01S 17/89(2020.01) (54)发明名称 一种结合激光雷达来识别相机位姿变化和 异常的方法 (57)摘要 本发明公开了一种结合激光雷达来识别相 机位姿变化和异常的方法， 包括根据初始状态下 相机与激光雷达的标定参数， 计算得到相机与激 光雷达的第一位姿关系； 获取车辆行驶时激光雷 达的点云数据和相机的 图像数据； 根据激光雷达 点云数据的时间戳进行时间同步得到多组同步 后的图像数据； 计算相机的位姿变换矩阵和激光 雷达的位姿变换矩阵， 进而 得到相机与激光雷达 的第二位姿关系； 若第一位姿关系和第二位姿关 系的欧氏距离大于预设门限值， 输出相机位姿异 常的识别结果。 本发明实施例提供的一种结合激 光雷达来识别相机位姿变化和异常的方法， 根据 相机和激光雷达的位姿关系进行标定及比较， 实 现了对车辆相机安装姿态的监控， 进而保证ADAS 功能的可靠性和安全性。 权利要求书3页 说明书8页 附图3页 CN 115546299 A 2022.12.30 CN 115546299 A 1.一种结合激光雷达来识别相机位姿变化的方法， 其特 征在于， 包括： 获取车辆行驶时激光雷达的点云数据和相机的图像数据； 根据激光雷达点云数据的时间戳进行时间同步， 得到多组同步后的图像数据； 基于各组同步后的前后两帧图像、 由图像特征点得到的匹配点对和前后两帧图像的激 光雷达点云， 分别计算相 机的位姿变换矩阵和激光雷达的位姿变换矩阵， 并根据所述变换 矩阵计算得到相机与激光雷达之间的位姿关系。 2.如权利要求1所述的结合激光雷达来识别相机位姿变化的方法， 其特征在于， 所述根 据激光雷达点云数据的时间戳进行时间同步， 得到多组同步后的图像数据， 具体包括： 根据激光雷达点云数据的时间戳， 将图像与其进行时间同步； 获取时间戳相邻最近的图像， 将其选 定为同步后的图像数据。 3.一种结合激光雷达来识别相机位姿异常的方法， 其特 征在于， 包括： 根据初始状态下相机与激光雷达的标定参数， 计算得到相机与激光雷达之间的第 一位 姿关系； 获取车辆行驶时激光雷达的点云数据和相机的图像数据； 根据激光雷达点云数据的时间戳进行时间同步， 得到多组同步后的图像数据； 基于各组同步后的前后两帧图像、 由图像特征点得到的匹配点对和前后两帧图像的激 光雷达点云， 分别计算相 机的位姿变换矩阵和激光雷达的位姿变换矩阵， 并根据所述变换 矩阵计算得到相机与激光雷达之间的第二 位姿关系； 若所述第一位姿关系和所述第 二位姿关系之间的欧氏距离大于预设门限值， 则 输出相 机位姿异常的识别结果。 4.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 基于相 机与激光雷达的灵敏度确定所述预设门限值。 5.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 所述根 据初始状态下相机与激光雷达的标定参数， 计算得到相机与激光雷达之间的第一位姿关 系， 具体包括： 分别获取初始状态下相机的标定参数和激光雷达的标定参数， 其中， 所述相机的标定 参数包括内参矩阵和第一外参矩阵， 所述激光雷达的标定参数包括第二外参矩阵； 根据所述标定参数， 采用如下公式计算初始状态下相机与激光雷达之间的第 一位姿关 系： 其中， 为所述第一 位姿关系， Rc为所述第一外参矩阵， Rl为所述第二外参矩阵。 6.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 所述根 据激光雷达点云数据的时间戳进行时间同步， 得到多组同步后的图像数据， 具体包括： 根据激光雷达点云数据的时间戳， 将图像与其进行时间同步； 获取时间戳相邻最近的图像， 将其选 定为同步后的图像数据。 7.如权利要求5所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 基于各 组同步后的前后两帧图像、 由图像特征点得到的匹配点对和前后两帧图像的激光雷达点 云， 分别计算相 机的位姿变换矩阵和激光雷达的位姿变换矩阵， 并根据所述变换矩阵计算权　利　要　求　书 1/3 页 2 CN 115546299 A 2得到相机与激光雷达之间的第二 位姿关系， 具体包括： 将各组同步后的前后两帧图像之间的特征点进行匹配， 得到匹配点对， 并基于所述匹 配点对， 计算前后两帧图像之间相机的位姿变换矩阵； 根据前后两帧图像的激光雷达点云， 利用ICP配准算法， 计算激光雷达的位姿变换矩 阵； 基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵， 计算相机与激光 雷达之间的第二 位姿关系。 8.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 所述计 算前后两帧图像之间相机的位姿变换矩阵， 具体包括： 基于所述匹配点对， 采用如下公式计算基础矩阵和本质矩阵： xTFx′＝0 其中， x和x ′分别为匹配点对， F为基础矩阵， Mc为所述内参矩阵， E为所述本质矩阵； 对所述本质矩阵进行SVD分解， 得到相机的位姿变换矩阵。 9.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 所述根 据前后两帧图像的激光雷达点云， 利用ICP配准算法， 计算激光雷达的位姿变换矩阵， 具体 包括： 对预设的目标函数进行迭代， 并将所述目标函数小于收敛误差时的函数值确定为激光 雷达的位姿变换矩阵； 所述目标函数为： 其中， E(Rnl)为迭代的目标函数的函数值， xi为输入量， Rnl为所述激光雷达的位姿变换 矩阵， pi为收敛误差为1e‑10。 10.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法， 其特征在于， 所述 基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵， 计算相机与激光雷达 之间的第二 位姿关系， 具体包括： 构建手眼标定模型， 代入多组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩 阵， 计算得到相机与激光雷达之间的第二 位姿关系； 所述手眼标定模型 具体包括： 其中， Rnc为所述相机的位姿变换矩阵， Rnl为所述激光雷达的位姿变换矩阵， 为所述 第二位姿关系。 11.一种结合激光雷达来识别相机位姿变化的装置， 其特征在于， 包括整车控制器， 所 述整车控制器 被配置为： 获取车辆行驶时激光雷达的点云数据和相机的图像数据；权　利　要　求　书 2/3 页 3 CN 115546299 A 3