(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210191584.X (22)申请日 2022.02.28 (71)申请人 国网山东省电力公司电力科 学研究 院 地址 250003 山东省济南市 市中区望岳路 2000号 申请人 国家电网有限公司 (72)发明人 林颖　刘萌　白德盟　郑文杰　 李杰　杨祎　李程启　师伟　 刘晓东　宋扬　乔木　李龙龙　 张皓　李壮壮　张峰达　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞(51)Int.Cl. G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于层级匹配的红外与可见光图像配 准方法及系统 (57)摘要 本发明属于图像处理技术领域， 提供了一种 基于层级匹配的红外与可见光图像配准方法及 系统。 其中， 该方法包括获取红外图像和可见光 图像； 基于局部聚合特征对可见光图像的像素进 行预筛选， 得到像素预筛选后的可见光图像； 对 红外图像和像素预筛选后的可见光图像均进行 特征点提取及匹配； 根据在红外图像与可见光图 像中匹配的特征点对的像素坐标， 利用渐进一致 采样算法， 得到红外图像到可见光图像的变换参 数； 根据所述变换参数， 将红外图像的坐标变换 到可见光图像坐标系下， 实现 红外图像与可见光 图像的层级配准。 权利要求书2页 说明书7页 附图5页 CN 114612698 A 2022.06.10 CN 114612698 A 1.一种基于层级匹配的红外与可 见光图像 配准方法， 其特 征在于， 包括： 获取红外图像和可 见光图像； 基于局部聚合特征对可见光图像的像素进行预筛选， 得到像素预筛选后的可见光图 像； 对红外图像和像素 预筛选后的可 见光图像均进行 特征点提取及匹配； 根据在红外图像与可见光图像中匹配的特征点对的像素坐标， 利用渐进一致采样算 法， 得到红外图像到可 见光图像的变换参数； 根据所述变换参数， 将红外 图像的坐标变换到可见光图像坐标系下， 实现红外 图像与 可见光图像的层级配准。 2.如权利要求1所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 在对 可见光图像的像素进 行预筛选的过程中， 基于一个卷积神经网络和局部聚合特征网络计算 局部聚合特征的聚类簇的可利用性， 进而对像素进 行预筛选； 其中， 可利用性为各个聚类簇 上对应的匹配负 样本局部特 征的L2距离。 3.如权利要求1所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 利用 自监督学习网络对红外图像和像素 预筛选后的可 见光图像均进行 特征点提取。 4.如权利要求3所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 所述 自监督学习网络的学习过程 为： 构建包含明确的角点信息的图像集， 用以训练初级的角点 提取网络； 对原始图像随机进行单应变换， 并加噪处理， 用训练的初级网络获得变换后图像中的 特征点位置； 利用变换后的图像及其角点信息， 对自监督学习 网络进行监督， 学习得到具有获取红 外图像与可 见光图像特 征点提取能力的自监 督学习网络 。 5.如权利要求1所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 利用 深度图卷积网络， 对红外图像和像素 预筛选后的可 见光图像进行 特征点匹配。 6.如权利要求5所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 所述 深度图卷积网络包括注意力图卷积网络和优化匹配层； 所述注意力图卷积网络的输入为一 对图像的特征点位置与描述向量的集合， 输出空间信息聚合后的特征描述符； 所述优化匹 配层的输入为注意力图卷积网络 输出的特 征描述符， 输出匹配结果。 7.如权利要求6所述的基于层级 匹配的红外与可见光图像配准方法， 其特征在于， 所述 优化匹配层根据更新后的特征计算一个相似度 矩阵， 矩阵中的每个单元表示的是两个图像 中的特征 的相似度， 同时将矩阵进行扩展， 新增的一行与一列用来描述特征点不存在匹配 的情况。 8.一种基于层级匹配的红外与可 见光图像 配准系统， 其特 征在于， 包括： 图像获取模块， 其用于获取红外图像和可 见光图像； 像素预筛选模块， 其用于基于局部聚合特征对可见光图像的像素进行预筛选， 得到像 素预筛选后的可 见光图像； 特征点提取及匹配模块， 其用于对红外图像和像素预筛选后的可见光图像均进行特征 点提取及匹配； 变换参数计算模块， 其用于根据在红外图像与 可见光图像中匹配的特征点对的像素坐权　利　要　求　书 1/2 页 2 CN 114612698 A 2标， 利用渐进一 致采样算法， 得到红外图像到可 见光图像的变换参数； 层级配准模块， 其用于根据所述变换参数， 将红外 图像的坐标变换到可见光图像坐标 系下， 实现红外图像与可 见光图像的层级配准。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于层级匹配的红外与可见光图像配准方法中的 步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基于 层级匹配的红外与可 见光图像 配准方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114612698 A 3