(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013538.7 (22)申请日 2022.08.23 (71)申请人 哈尔滨工业大 学 （威海） 地址 264209 山 东省威海市文化西路2号 申请人 威海天之卫网络空间安全科技有限 公司 (72)发明人 王瑶　王佰玲　王家彬　王巍　 王孝朋　 (74)专利代理 机构 威海恒誉润达专利代理事务 所(普通合伙) 3726 0 专利代理师 吕志彬 (51)Int.Cl. G06V 20/62(2022.01) G06V 30/24(2022.01) G06T 5/00(2006.01)G06T 5/50(2006.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对雾霾天气环境的自动车牌识别方 法 (57)摘要 本申请提供了一种针对雾霾天气环境的自 动车牌识别方法， 首先上传雾霾天气环境下的有 雾车辆图像， 然后使用训练好的雾霾图像预处理 模块对有雾车辆图像进行去雾处理， 再采用车牌 定位模块进行车牌定位， 最后将 定位出来的车牌 输入到车牌识别模块进行车牌字符识别， 并且输 出识别结果。 本申请提供的针对雾霾天气环境的 自动车牌识别方法， 在图像去雾方面， 使用少量 成对图像数据即可获得较好的去雾效果； 针对雾 霾天气环境下的车牌自动识别， 适应性较强， 识 别准确率高， 解决了现有对雾霾天气环境下车牌 识别准确率较低的问题， 具有广泛的应用前 景。 权利要求书3页 说明书6页 附图3页 CN 115331210 A 2022.11.11 CN 115331210 A 1.一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 首先上传雾霾天气环境 下的有雾车辆图像， 然后使用训练好的雾霾 图像预处理模块对有雾车辆图像进行去雾处 理， 再采用车牌定位模块进行车牌定位， 最后将定位出来的车牌输入到车牌识别模块进行 车牌字符识别， 并且输出识别结果。 2.如权利要求1所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 包括 以下步骤： 步骤一， 开始； 步骤二， 在雾霾图像预处理模块对采集的有雾车辆 图像进行去雾处理之前， 首先对清 晰无雾车牌图片进行加雾处理， 批量生成与真实雾霾天气环境下 的车辆图像类似的图片， 并与原始清晰无雾车牌图像成对组合成训练集， 作为Cycle  GAN去雾模型的输入对模型进 行训练； 上传雾霾天气下的有雾车辆图像至雾霾图像预处理模块， 使用训练好的Cycle  GAN去 雾模型对上传的有雾车辆图像进行去雾处 理； 步骤三， 经过图像去雾网络， 去除雾霾天气的干扰， 生成清晰无雾的车辆图像， 将该图 像输入到基于 YOLOv5的车牌定位模块进行 车牌定位； 步骤四， 车牌定位模块将定位出来的车牌输入到车牌识别模块中， 车牌识别模块使用 LPRNet网络进行端到端的车牌字符识别； 步骤五， 结束。 3.如权利要求2所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 步骤 二中， Cycle GAN去雾模型包括两个镜像对称的生 成式对抗网络， 每个生 成式对抗网络包括 两个鉴别器和两个生成器。 4.如权利要求3所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： Cycle GAN去雾模型用于进行有雾车牌图片到无雾车牌图片的变换； 设有雾图像为X域， 无雾图像为Y域； 生成器一负责通过X域图片来生成Y域图片， 生成器二负责通过Y域的图片来生成X域的 图片； 两个鉴别器需要判别输入图像是 X域还是Y域； 生成器尝试通过原域的图片学习到生成目标域的映射， 鉴别器判断， 在生成器和鉴别 器对抗的过程中， 使生成器生成的图片越来越接 近真实的目标域图片。 5.如权利要求4所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 生成 式对抗网络为了保留生 成器生成的目标域图片在某些特征上与 原域的图片相似， 又将生成 的假的目标域的图片还原 回原域， 并进行损失函数计算， 损失函数为对抗性损失函数和循 环一致性损失函数； 对抗性损 失函数， 为学习原域与目标域之间的映射关系， 用来保证图像从有雾 图像映 射到无雾图像， 抗 性损失函数如公式(1)所示： 其中， x和y分别代表来自X域和Y域的图像， Gxy为负责从x域生成y域图像的生成器， Dy 为鉴别器；权　利　要　求　书 1/3 页 2 CN 115331210 A 2循环一致性损失函数， 能够保证在图像域转换的过程中保留原图像在原域中的相应特 征， 循环一 致性损失函数如公式(2)所示： 其中， x和y分别代表来自X域和Y域的图像， Gxy为负 责从x域生成y域图像的生成器， Gyx 为负责从y域 生成x域图像的生成器； 完整的损失函数 是两个损失函数的总和， 如公式(3)所示： ψ(Gxy,Gyx,Dx,Dy)＝ ψGAN(Gxy,Dy,X,Y)+ ψGAN(Gyx,Dx,X,Y)+λ ψcyc    (3) 其中， Gxy为负 责从x域生成y域图像的生成器， Gyx为负责从y域生成x域图像的生成器， Dx和Dy为 鉴别器, λ为权 重系数。 6.如权利要求2所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 步骤 三中， 车牌定位模块使用YOLOv5进行车牌定位， YOLOv5包括Backbone模块、 Neck模快、 Head 模块； Backbone模块用于特 征的提取； Neck模块用于对特 征进行混合与组合； Head模块用于预测输出； 在backbone模块的CSP ‑Darknet53中包含5个CSP模块， CSP模块在进行特征提取时不仅 使用第五个CS P输出的特 征图， 还同时使用了其它CS P层输出的特 征图。 7.如权利要求6所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 车牌 定位模块包括非极大值抑制， 非极大值抑制首先将所有的预测框按不同类别进行分组， 组 内按照置信度的大小进 行排序， 选取置信度最大的预测框， 再依次选取其他的预测框， 判断 该预测框与已选取的预测框的重叠区域是否大于预先设定好的阈值， 若大于设定好的阈 值， 则判定为预测的是同一个车牌目标， 删除该预测框， 如果重叠部分小于设定好的阈值， 则判定为预测的不是同一个车牌目标， 保留该预测框； 循环执行该算法， 直至处理完所有的 预测框。 8.如权利要求2所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： 步骤 四中， 车牌识别模块包括STN空间变换网络和LPRNet网络， STN空间变换网络对输入的车牌 图片进行矫 正， LPRNet网络用于车牌字符识别。 9.如权利要求8所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： STN 空间变换网络对输入的车牌图片进行矫正方法为， 首先将雾霾图像预 处理模块裁剪出的车 牌图片输入到STN空间变换网络中， 使用池化层提取图像特征， 将提取的特征传进全连接 层， 计算出变换参数； 最后使用变换参数对输入图像进 行矫正， 矫正后的图片将作为LPRNet 网络的输入。 10.如权利要求9所述的一种针对雾霾天气环境的自动车牌识别方法， 其特征在于： LPRNet网络以94*24的RGB图片做输入， 经过卷积运算和特征提取后， 输出一段代表字符概 率的序列； 采用CTC损失进行训练， 应对输出的代表字符概率序列与车牌字符序列长度不一致的 问题， 识别变长 字符序列； 对代表字符概率的序列进行解码操作， 然后通过集束搜索和后过滤找到最可能的N个权　利　要　求　书 2/3 页 3 CN 115331210 A 3