(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127964.3 (22)申请日 2022.09.16 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 章雨昂　仲维　蔚博凯　刘晋源　 王维民　樊鑫　刘日升　罗钟铉　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/13(2017.01) (54)发明名称 基于U-V视差图的室内自由空间估计和障碍 物检测算法 (57)摘要 本发明公开基于U ‑V视差图的室内自由空间 估计和障碍物检测算法， 包括： 改进U ‑V视差法采 用滑动窗口法， 将视差图分为若干子窗口， 每个 子窗口生成一个子V视差图， 窗口内采用分段线 性拟合方法， 将提取的多条线段依次连接得到地 面相关线； 采用新的V视差图滤波方法， 使用边缘 滤波器过滤子V视差图， 将滤波后图像作为加权 系数对原V视差图相乘， 再采用最大值滤波和块 滤波器滤波得到V视差滤波图像， 用于道路检测； 将V视差计算结果融合到一种概率估计框架中用 于地面估计。 将地面置信图RCM和障碍物置信图 OCM加权累加构成最后的置信图模型， 自由空间 就是在置信图上采用二维动态规划方法进行优 化估计的。 权利要求书3页 说明书8页 附图4页 CN 115457131 A 2022.12.09 CN 115457131 A 1.基于U‑V视差图的室内自由空间估计和障碍物检测算法， 其特征在于， 具体步骤如 下： 1)获取视 差图； 1‑1)通过双目立体相机采集真实室内场景的RGB图像， 并转换成灰度图； 1‑2)根据平行式双目立体视 觉模型确定 视差图； 2)修正视差图； 2‑1)使用双三次插值对非边缘无效点修正视差图； 将视差图中所有无效匹配点的视差 值设为‑1， 对图像的每个像素的上、 下、 左、 右邻点视差加权， 通过改进双三次插值算法对其 进行重新赋值； 2‑2)对于边缘无效点的修正， 使用边缘检测后， 对边缘图像进行形态学闭操作处理， 即 先膨胀再腐蚀， 填补临近边缘点之 间的无效区域， 凸显障碍物实体而不改变障碍物位置； 对 于边缘无效点面积较大的区域， 则不进行赋值， 并将其标记； 对被标记的区域进行判断， 比 较区域面积Ai与面积阈值Av的大小； 若Ai<Av， 则区域Ai不被计算， 属于边缘区域； 若Ai>Av， 则 判断Ai是否为边缘区域， 计算边缘线区域与Ai的比值， 若比值 大于阈值， 属于 边缘区域， 则通 过闭操作修正方法对视差图进行修正， 反之则不属于边缘区域， 通过改进双三次差值对其 进行修正； 3)获取U视 差图和V视 差图； 3‑1)对修正后的视差图进行水平、 垂直投影， 将平面视差图像投影成线段获得U ‑V视差 图； 3‑2)生成U视差图； 对视差图在U方向上对每一列相同视差个数进行累加， 即沿纵向由 上至下逐列扫描， 以视差图的水平长度作为U视差图的横坐标， 以视差值最大值为纵坐标， 以每一列相同视 差值像素点的累加 和作为U视 差图的坐标点的强度， 由此 形成U视差图； 3‑3)生成V视差图； 对视差图在V方向上对每一行相同视差个数进行累加， 即沿横向由 左至右逐行扫描， 以视差图的纵向长度作为U视差图的纵坐标， 以视差值最大值为横坐标， 以每一行相同视 差值像素点的累加 和作为V视 差图的坐标点的强度， 由此 形成V视差图； 4)地面估计； 4‑1)产生子V视差图； 采用滑动窗口法， 将视差图分为多个子窗口， 每个子窗口内假设 地面是局部平坦的， 从而在每 个子窗口内生成子V视 差图进行地 面估计； 4‑2)过滤子V视差图； 将V视差图进行滤波后再进行线性拟合， 采用 新的V视差滤波方 法， 具体为： 首先对高斯平滑后的V视差图使用边缘滤波器进行滤波， 使用Sob el算子， 增强 水平和倾斜边缘， 减弱竖直边缘； 然后 将滤波后的子V视差图转变为二值图， 将V视差图当作 一种加权系数图， 将二值滤波图与原V视差图相乘， 得到新的子V视差图； 之后在新的子V视 差图上逐列选择最大值点保留， 其他像素点被移除； 经过上述操作后， 竖直线仍有存在， 并 没有被充分清除， 这些残余部分表现为一些孤立的点， 且彼此间距离比在地面相关线上 的 点之间的距离大得多； 因此采用块计数滤波器来移除残余， 若中心像素块内不存在其他点， 则中心点被滤除， 否则保留； 4‑3)提取地面相关线； 使用霍夫变换提取地面相关线， 使用多条线段拟合地面不同坡 度； 当地面平坦时， 仅有一条地面相关线被检测； 当地面存在连续变化的纵向坡度时， 会有 多条线段被检测， 将这些线段连接在一起， 组成一条连续折线， 来表示地面相关线； 利用拟权　利　要　求　书 1/3 页 2 CN 115457131 A 2合的地面相关线， 可 得到地面任一行的预测视 差值d*(v)； 5)计算置信图； 5‑1)计算障碍物置信图OCM和地面置信图RCM； 在OCM中， 置信值表示属于障碍物的概 率； 在RCM中， 置信值表示属于地 面的概率； OCM定义为： RCM定义为： 其中， d(u,v)表示视差图上点(u,v)处的视差值， 而d*(v)表示第v行预测的地面视差； Δ dmax表示视差的最大差值； 逐窗口构建OCM和RCM， 滑动窗口间的重叠区域使用d*(v)均值代 替； 5‑2)计算置信图； 最终的置信图是由OC M和RCM的加权累加构成， 如下 所示： C(u,v)＝CrRoad(u,v)+CoObstacle(u,v) 其中， Cr是地面置信权 重， 设为定值； Co是障碍物置信权 重， 通过ROC曲线分析 学习得到； 6)动态规划估计自由空间； 6‑1)构建动态规划模型估计自由空间 地面与障碍物之间的边界通过在置信图中寻找最佳分割路径得到； 引入平滑约束项来 减少边界 间的剧烈变化； 计算公式包括数据项和平 滑项， 通过动态规划求 解， 如下： 其中， v*(u)是估计的地面与障碍物底边缘的分界边缘， ua， ub是相邻列像素， 数据项是 从置信图中得到的置信值c(u,v)， s(vi,vi‑1)为平滑性约束， 以惩罚相邻列之间的剧烈变 化， 如下： 其中， Cs是连续性约束参数， 需要通过ROC曲线分析估计学习得到； 阈值Ts为固定值， 补 充连续性约束， 在允许边界 间变化的同时， 限制了边界 间变化的最大值； 6‑2)计算最小累积代价； 从图像最右列向最左列计算如下递归： 其中， (i,vi)表示底i列第vi行的像素节点， c(i,vi)是节点(i,vi)的置信值， s(vi,vi+1) 是从节点(i,vi)到节点(i+1,vi+1)的连接代价， Ci(vi)是从最右节点到节点(i,vi)的最小累 积代价； 6‑3)求解最佳路径；权　利　要　求　书 2/3 页 3 CN 115457131 A 3