(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795178.4 (22)申请日 2022.07.07 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 李大松　张祎　秦红伟　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种图像处理方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种图像处理方法、 装置、 电 子设备及存储介质， 该方法包括： 获取待处理图 像； 所述待处理图像包括待处理模糊图像和/或 待处理清晰图像； 确定所述待处理图像对应的退 化特征图， 其中， 所述退化特征图用于表征模糊 图像与所述模糊图像对应的清晰图像之间空间 特征变化的图像退化模式； 基于所述待处理图像 和所述退化特征图， 生成目标图像； 其中， 在所述 待处理图像包括待处理模糊图像的情况下， 所述 目标图像包括所述待处理模糊图像对应的去模 糊图像； 在所述待处理图像包括待处理清晰图像 的情况下， 所述目标图像包括所述待处理清晰图 像对应的虚化图像 。 权利要求书4页 说明书22页 附图6页 CN 115035318 A 2022.09.09 CN 115035318 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像； 所述待处 理图像包括待处 理模糊图像和/或待处 理清晰图像； 确定所述待处理图像对应的退化特征图， 其中， 所述退化特征图用于表征模糊图像与 所述模糊图像对应的清晰图像之间空间特 征变化的图像退化模式； 基于所述待处理图像和所述退化特征图， 生成目标图像； 其中， 在所述待处理图像包括 待处理模糊图像的情况下， 所述 目标图像包括所述待处理模糊图像对应的去模糊图像； 在 所述待处理图像包括待处理清晰图像的情况下， 所述目标图像包括所述待处理清晰图像对 应的虚化图像。 2.根据权利要求1所述的方法， 其特征在于， 所述确定所述待处理图像对应的退化特征 图， 包括： 在所述待处理图像包括所述待处理模糊图像、 且不包括所述待处理清晰图像的情况 下， 对所述待处 理图像进行 特征编码处 理， 得到所述待处 理图像对应的退化特 征图； 在所述待处理图像包括所述待处理清晰图像、 且不包括所述待处理模糊图像的情况 下， 从设置的多个退化特征图中， 确定所述待处理图像对应的退化特征图； 或者， 对获取 的 任一基准模糊图像进行特征编码处理， 得到退化特征图， 并将所述退化特征图确定为所述 待处理图像对应的退化特 征图； 在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下， 对所述 待处理模糊图像进行特征编码处理， 得到退化特征图， 并将所述退化特征图确定为所述待 处理清晰图像对应的退化特 征图。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于所述待处理图像和所述退化 特征图， 生成目标图像， 包括： 对所述待处理图像和所述退化特征图进行特征解码处理， 生成所述待处理图像对应的 目标特征图； 其中， 所述 目标特征图包括与所述待处理图像的至少一个分辨率的特征图相 匹配的模糊模式信息； 利用所述目标 特征图， 对所述待处 理图像进行处 理， 生成所述目标图像。 4.根据权利要求1至3任一所述的方法， 其特征在于， 在所述待处理图像包括所述待处 理模糊图像、 且不包括所述待处理清晰图像的情况下， 所述 目标图像由训练得到的第一 目 标神经网络生成； 所述第一目标神经网络包括： 编 码器和第一解码 器； 所述编码器与所述第 一解码器相连； 在所述待处理图像包括所述待处理清晰图像、 且不包括所述待处理模糊图像的情况 下， 所述目标图像由训练得到的第二目标神经网络生成； 所述第二目标神经网络包括： 所述 编码器和第二 解码器； 所述编码器与所述第二 解码器相连； 在所述待处理图像包括所述待处理清晰图像和所述待处理模糊图像的情况下， 所述目 标图像由训练得到的第三目标神经网络生成； 所述第三目标神经网络包括： 所述编码 器、 第 一解码器和第二 解码器； 所述编码器分别与所述第一 解码器和所述第二 解码器相连。 5.根据权利要求4所述的方法， 其特征在于， 所述第 一解码器包括m个特征提取子网络、 m+1个参数调制子网络、 m个特 征融合子网络； 其中， m为 正整数； 第i个特征提取子网络包括第i个第一残差子网络和第 i个下采样特征层； 第i个特征融 合子网络包括第i个上采样特 征层、 第i个连接层、 第i个第二残差 子网络；权　利　要　求　书 1/4 页 2 CN 115035318 A 2第i‑1个特征提取子 网络分别与第i ‑2个特征提取子 网络、 第i个特征提取子网络相连； 第i‑1个特征融合子网络分别与第i ‑2个特征融合子网络、 第i个特 征融合子网络相连； 第i个参数调制子网络分别与第i+1个参数调制子网络、 第i个特征提取子网络中第i个 第一残差子网络、 第i个特征融合子网络中第i个连接层相连； 其中， i为大于等于1、 且小于 等于m的正整数； 第m+1个参数调制子网络分别与第m个特征提取子网络中第m个下采样特征层、 第m个特 征融合子网络中第m个上采样特 征层相连。 6.根据权利要求4所述的方法， 其特征在于， 根据 下述步骤训练得到所述第 一目标神经 网络： 获取第一训练样本， 其中， 所述第 一训练样本包括多个第 一样本图像对， 所述第 一样本 图像对包括第一模糊图像和所述第一模糊图像对应的第一清晰图像； 利用第一待训练神经网络中的编码器， 对所述第一模糊图像进行特征编码处理， 生成 所述第一模糊图像对应的样本退化特 征图； 利用所述第 一待训练神经网络 中的第一解码器， 对所述样本退化特征图和所述第 一模 糊图像进行 特征解码处 理， 生成所述第一模糊图像对应的第一样本特 征图； 将所述第一样本特征图和所述第 一模糊图像进行特征融合处理， 生成所述第 一模糊图 像对应的预测清晰图像； 基于所述预测清晰图像和所述第一清晰图像， 对所述第一待训练神经网络进行训练， 直至所述第一待训练神经网络满足第一训练截止条件， 得到所述第一目标神经网络 。 7.根据权利要求4所述的方法， 其特征在于， 根据 下述步骤训练得到所述第 二目标神经 网络： 获取第二训练样本， 其中， 所述第 二训练样本包括多个第 二样本图像对， 所述第 二样本 图像对包括第二模糊图像和所述第二模糊图像对应的第二清晰图像； 利用第二待训练神经网络中的编码器， 对所述第二模糊图像进行特征编码处理， 生成 所述第二模糊图像对应的样本退化特 征图； 利用所述第 二待训练神经网络 中的第二解码器， 对所述样本退化特征图和所述第 二清 晰图像进行 特征解码处 理， 生成所述第二清晰图像对应的第二样本特 征图； 将所述第二样本特征图和所述第 二清晰图像进行特征融合处理， 生成所述第 二清晰图 像对应的预测模糊图像； 基于所述预测模糊图像和所述第二模糊图像， 对所述第二待训练神经网络进行训练， 直至所述第二待训练神经网络满足第二训练截止条件， 得到所述第二目标神经网络 。 8.根据权利要求4所述的方法， 其特征在于， 根据 下述步骤训练得到所述第 三目标神经 网络： 获取第三训练样本， 其中， 所述第 三训练样本包括多个第 三样本图像对， 所述第 三样本 图像对包括第三模糊图像和所述第三模糊图像对应的第三清晰图像； 利用第三待训练神经网络中的编码器， 对所述第三模糊图像进行特征编码处理， 生成 所述第三模糊图像对应的样本退化特 征图； 利用所述第 三待训练神经网络 中的第一解码器， 对所述样本退化特征图和所述第 三模 糊图像进行特征解码处理， 生成所述第三模糊图像对应的第三样本特征图； 并将所述第三权　利　要　求　书 2/4 页 3 CN 115035318 A 3