(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082743.9 (22)申请日 2022.09.06 (71)申请人 西安理工大 学 地址 710048 陕西省西安市金花 南路5号 (72)发明人 刘兴华　薛韩君　高翔　赵宇男　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 李潇 (51)Int.Cl. G06T 7/73(2017.01) G06F 17/16(2006.01) (54)发明名称 基于事件对比度最大化的双目视觉里程计 方法 (57)摘要 本发明实施例是关于基于事件对比度最大 化的双目视觉里程计方法， 与传统的逐事件跟踪 方法相比， 提出了一种对比度最大化算法来解决 事件和图像的数据关联， 大大提高了事件流的计 算速度； 由于对比度最大化算法高度依赖于场景 的深度， 因此提出了一种鲁棒的Beta ‑Gaussian 分布深度滤波器， 以获得比仅使用三角测量的深 度估计更准确的线段模板深度； 应用于公共事件 相机数据集的评估实验， 与ORB的视觉里程计算 法相比， 所提出的算法可以实现更好的性能并获 得更低延迟的相机 轨迹。 权利要求书4页 说明书8页 附图5页 CN 115375767 A 2022.11.22 CN 115375767 A 1.基于事 件对比度最大化的双目视 觉里程计方法， 其特 征在于， 包括： S1： 对来自标准相机的图片进行预处理， 建立事件对比度最大化的双目视觉里程计模 型； S2： 对来自事件相机的事件流和图片进行时间戳上的同步， 根据事件的对应周期选择 时空窗口； S3： 对每一个时空窗口中的事 件进行对比度最大化， 并求模板对应事 件之间的光 流； S4： 利用IMU数据和计算出的光 流去校正和更新模板边的位置； S5： 利用Beta ‑Gaussian的滤波器对模板边的深度进行估计， 并得到3D空间中的模板边 的位置； S6： 通过ICP位姿求 解算法去估计事 件相机的运动轨 迹。 2.根据权利要求1所述的基于事件对比度最大化的双目视觉里程计方法， 其特征在于， 所述步骤S2具体如下： 假设在时间t0处从图像帧中检测到特 征点x， 则特 征点的运动可以描述 为： 公式(1)中， 为表示特征点x在时间s的速度； 从事件流中选取一组事件， 选取特征 点x的时间作为初始时间t0对应的时空窗口； 公式(2)中， W为时空窗内的事件集； ei表示时空窗口中的第i个事件； 表示事件发生 的时间； n表示事件的数量； 由于[t0， t1]是第一个子时间间隔， 可以通过设置时空窗口的大 小来计算t1的值； 为了实现特征点跟踪方法的异步性， 子时间间隔的大小由该方法在实时运行时确定， 具体计算过程如下： 得到本次迭代中所有特征点的光流后， 通过光流计算下一个子时间间隔的大小； 定义xi 来表示第i个特征点i＝{1， …， m}， 特征点的个数为m； 是在第n个子时间间隔[tn‑1， tn]内 特征点xi的光流； 给定子时间间隔[tn‑1， tn]内所有特征点 的光流 可以计算出下 一个子时间 间隔[tn， tn+1]； 在公式(3)中， 数字3的单位是像素； 表示子时间间隔[tn‑1， tn]内所有特征点的 平均光流； 通过公 式(3)计算出tn+1， 将上一个时间间隔内的特征点平均 移动3个像素所需的 时间作为当前间隔的估计值。 3.根据权利要求2所述的基于事件对比度最大化的双目视觉里程计方法， 其特征在于， 所述步骤S3具体如下：权　利　要　求　书 1/4 页 2 CN 115375767 A 2通过对应特征点确定时空窗口后， 使用对比度最大化算法将特征点x周围的事件集W与 模板点集进行匹配； 假设所有模板点与特征点x具有相同的光流， 区域内所有像素的光流θ 相同， 并且特征点的光流在子时间间隔[t0， t1]内是恒定的； 将时间间隔[t0， t1]内特征点x 的光流定义为v； 对于W中的事件ei； 使用扭曲事件的图像(IWE)计算其在时间t0的位置X’k， 公式如下： 公式(5)中， X ’kj是第k个事件沿第j组光流扭曲后的位置； Ne表示事件的个数； δ表示狄 拉克函数； Pkj表示第k个事 件属于第j组光 流的概率； Ij(x)表示光流对应的I WE； 事件通过图像对比度对齐， 图像的对比度由锐度比色散度量定义， 比如方差 Var(Ij)＝ ∫Ω(Ij(x)‑μj)2dx                 (6) 公式(6)中， Ω是图像平面； μj是扭曲事件图像的平均值； 公式(7)中， μ表示 步长； Nl表示簇数； θ 为对应时空窗口中的光 流。 4.根据权利要求3所述的基于事件对比度最大化的双目视觉里程计方法， 其特征在于， 所述步骤S4具体如下： 得到特征点的光流后， 更新特征点和模板边缘； 然而， 当相机旋转时， 模板边缘和模板 点以明显不同的速度移动， 并且远离旋转中心的点移动得更快； 更新模板边缘的过程分为 两个步骤； 使用光 流更新模板边 缘的位置， 然后使用IMU数据校正模板边 缘的位置； 光流θ用于更新特征点x的位置和模板边缘xj的对应位置； 假设在子时间区间[t0， t1] 内， 特征点x的光 流是恒定的， 所以利用光 流来更新特 征点的位置， 公式如下： x(t1)＝x(t0)+v.(t1‑t0)                 (8) 公式(8)中， x(t0)是最初提取的特 征点的位置； x(t1)是更新后的特 征点的位置； 为了消除旋转对模板边缘更新的影响， 引入IMU数据来校正模板边缘位置； 校正后的位 置更接近模板边缘位置的真实值； 在t0时刻计算模板点相对于特征点的相对位置， 然后利 用IMU数据校正相对位置； 对于模板点， xj我们定义它的相对位置： 定义符号Xj和X分别表示相机坐标系中模板点xj和特征点x对应的3D坐标； 权　利　要　求　书 2/4 页 3 CN 115375767 A 3