(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210617878.4 (22)申请日 2022.06.02 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王国强　王永　刘瑞　 翟贵乾　李贤超　谭连胜　焦安健　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/10(2017.01)G06V 10/774(2022.01) G06V 20/00(2022.01) (54)发明名称 一种基于高位相机的路面异常物体检测方 法 (57)摘要 本发明属于路面异常物体检测技术领域， 涉 及一种基于高位相机的路面异常物体检测方法， 先构建数据集， 再基于编码器 ‑解码器结构 的图 像分割网络， 固定编码器得到的特征， 并重新利 用解码器对提取的特征进行图像重建， 利用分割 结果和重建的结果联合送入卷积网络提取特征 凸显道路中的异常物体， 然后利用时间段信息判 断该物体是异常的还是已经处理掉的异常物体， 提高了异常物体 检测的精度。 权利要求书2页 说明书4页 附图1页 CN 114973138 A 2022.08.30 CN 114973138 A 1.一种基于高位相机的路面异常物体 检测方法， 其特 征在于， 具体过程 为： （1） 数据集构建： 收集停车场高位相机的视频图像， 并对图像进行语义标注， 将图像中 的像素分类成汽车、 行 人和路面得到数据集， 并将数据集划分为训练集、 验证集和 测试集； （2） 设计语义分割的网络结构： 语义分割采用编码器 ‑解码器结构， 输入图像分辨率为 1024×512， 编码器结构为三级卷积， 解码器结构为二级卷积， 译码器后面加一个1 ×1卷积， 实现图像 像素分割得到分割图像； （3） 重建图像： 固定步骤 （2） 中的编码器， 从解码器最后一层重新接入一个解码器， 重新 接入的解码器结构与步骤 （2） 的解码器结构一样， 对重新接入的解码器进行训练得到重建 图像； 利用步骤 （1） 中构建的数据集， 将图像中位置为道路的像素标注 为1， 不是道路的像素 标注为2， 用MSE作为能量损失， 构建能量损失函数， 将非道路部分的物体更好的凸显出来； （4） 利用重建图像与分割图像结果联合进行异常物体检测： 将步骤 （3） 中重建的结果与 步骤 （2） 中分割的结果一起送入卷积模块进行进一步的特征提取， 提取后的特征将道路中 的异常物体凸显出来， 该异常物体如果连续出现在五分钟内， 则认为是异常物体需要处理， 如果该异常物体在五分钟内消失， 则说明该异常物体已被处 理掉； （5） 训练网络， 得到训练好的道路异常分割网络模型： 将数据集中训练集的图像尺寸由 1920×1024×3缩放成960 512 3， 按照256张图像一个批次依次输入到整个网络中， 整个 网络的输入为 ， 输出为道路异常的分割结果； 经过设定次数完整训练集训练 迭代后， 保存验证集上结果最好的模型参数， 作为最 终模型训练好的参数， 即得到训练好的 道路异常 分割网络模型； （6） 通过推理得到结果： 把高位监控相机的视频图像输入到训练好的道路异常分割网 络模型进行 前向推理得到道路异常物体的分割结果， 完成路面异常物体 检测。 2.根据权利要求1所述基于高位相机的路面异常物体检测方法， 其特征在于， 步骤 （2） 中所述编码 器结构的第一级 卷积包含三个卷积层， 每层卷积数目为 128个3×3卷积， 前两层 的卷积步长为1， 第三层的卷积步长为2， 第二级卷积包含三个卷积层， 每层卷积数 目为256 个3×3卷积， 前两层的卷积步长为1， 第三层的卷积步长为2， 第三级卷积包含三个卷积层， 每层卷积数目为512个3 ×3卷积， 前两层的卷积步长为1， 第三层的卷积步长为2； 解码器的 第一级卷积包含三个卷积层， 第一层为上卷积卷积数为256个3 ×3卷积， 后两层为一般卷 积， 卷积数目为256个3 ×3卷积， 第二级卷积包含三个卷积层， 第一层为上卷积， 卷积数为 128个3×3卷积， 后两层为 一般卷积， 卷积数目为128个3 ×3卷积。 3.根据权利要求2所述基于高位相机的路面异常物体检测方法， 其特征在于， 步骤 （3） 中构建的能量损失函数L： )， 其中 和 分别为道路区域和非道路区域， 为输入的原始图像， 和 分别为图 像中道路区域和非道路区域中的像素数量， MSE  为均方误差函数， 能量损失函数第一部分 表示输入图像和重 建图像的道路部 分差距， 第二部 分表述重建图像和输入图像的非道路部 分差距。权　利　要　求　书 1/2 页 2 CN 114973138 A 24.根据权利要求1所述基于高位相机的路面异常物体检测方法， 其特征在于， 步骤 （4） 中所述卷积模块包含两个含有128个3 ×3卷积核的卷积层和 两个Relu层， 排列方式依次为 卷积层、 Relu层、 卷积层和Relu层。权　利　要　求　书 2/2 页 3 CN 114973138 A 3