(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187136.9 (22)申请日 2022.09.28 (71)申请人 奥比中光科技 集团股份有限公司 地址 518063 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 蔡万源　辛冠希　陈训教　刘畅　 郑新莹　邓可望　 (74)专利代理 机构 深圳汉世知识产权代理事务 所(特殊普通 合伙) 44578 专利代理师 冷仔 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 训练方法、 图像风格迁移方法、 装置、 设备及 存储介质 (57)摘要 本申请涉及计算机视觉技术领域， 尤其涉及 训练方法、 图像风格迁移方法、 装置、 设备及存储 介质。 图像风格迁移模型的训练方法包括： 获取 彩色图像及红外图像， 彩色图像及红外图像均包 括人脸； 提取彩色图像的第一内容特征及红外图 像的第一风格特征； 利用初始风格迁移模型生成 彩色图像对应的合成红外图像； 计算合成红外图 像和彩色图像 之间的内容损失、 及合成红外图像 和红外图像 之间的风格损失； 根据内容损失和风 格损失， 对初始图像风格迁移模型进行迭代训 练， 获得目标图像风格迁移模型。 本申请实施例 仅需要很少的迭代次数就可以生成图像风格迁 移模型， 从而高效地生成高质量的风格迁移数 据。 权利要求书2页 说明书11页 附图4页 CN 115424332 A 2022.12.02 CN 115424332 A 1.一种图像风格迁移模型的训练方法， 其特 征在于， 包括： 获取彩色图像及红外图像， 所述彩色图像及所述红外图像均包括人脸； 提取所述彩色图像的第一内容特 征及所述红外图像的第一 风格特征； 利用初始图像风格迁移模型生成所述彩色图像对应的合成红外图像； 计算所述合成红外图像和所述彩色图像之间的内容损失、 及所述合成红外图像和所述 红外图像之间的风格损失； 根据所述内容损 失和所述风格损 失， 对所述初始图像风格迁移模型进行迭代训练， 获 得目标图像风格迁移模型。 2.如权利要求1所述的训练方法， 其特征在于， 所述提取所述彩色图像的第 一内容特征 及所述红外图像的第一 风格特征， 包括： 利用第一卷积神经网络模型提取所述彩色图像中所述人脸的人脸特征数据， 得到所述 第一内容特 征； 利用第二卷积神经网络模型提取 所述红外图像中的纹 理， 得到所述第一 风格特征。 3.如权利要求1所述的训练方法， 其特征在于， 所述计算所述合成红外图像和所述彩色 图像之间的内容损失， 及所述 合成红外图像和所述红外图像之间的风格损失， 包括： 利用第三卷积神经网络提取 所述合成红外图像的第二内容特 征及第二 风格特征； 计算所述第 一内容特征和所述第 二内容特征之间的内容损失， 及计算所述第 一风格特 征与所述第二 风格特征之间的风格损失。 4.如权利要求3所述的训练方法， 其特征在于， 所述计算所述第 一内容特征和所述第 二 内容特征之间的内容损失， 包括： 计算所述第一内容特 征与所述第二内容特 征中每一个特 征之间的欧式距离； 所述计算所述第一 风格特征与所述第二 风格特征之间的风格损失， 包括： 计算所述第 一风格特征中每个特征对应的第一Gram矩阵、 和所述第二风格特征中每个 特征对应的第二Gram矩阵； 计算每个特征对应的所述第一Gram矩阵和所述第二Gram矩阵之间的欧式距离 。 5.如权利要求1所述的训练方法， 其特征在于， 所述根据所述内容损失和所述风格损 失， 对所述初始图像风格迁移模型进行迭代训练， 获得目标图像风格迁移模型， 包括： 对所述内容损失和所述 风格损失进行加权求和得到总损失； 根据所述总损失， 计算所述初始风格迁移模型的迭代梯度； 将所述迭代梯度反 向传播至所述初始风格迁移模型的输入层， 以更新所述合成红外图 像； 当第N次迭代后计算得到的所述总损失小于或等于预设阈值时， 或迭代次数N大于或等 于预设次数时， 确定对应的图像风格迁移模型为所述目标图像风格迁移模型。 6.一种图像风格迁移方法， 其特 征在于， 包括： 获取第一彩色图像； 将所述第一彩色图像输入图像风格迁移模型进行图像风格迁移， 得到所述第 一彩色图 像对应的第一红外图像， 所述第一红外图像中的内容与所述第一彩色图像中的内容相同； 其中， 所述图像风格迁移模型通过权利要求 1至5任一项所述的图像风格迁移模 型的训练方 法训练得到 。权　利　要　求　书 1/2 页 2 CN 115424332 A 27.一种人脸识别模型的训练方法， 其特 征在于， 包括： 获取彩色图像集， 所述彩色图像集包括多张第二彩色图像； 将所述彩色图像集输入图像风格迁移模型， 输出所述彩色图像集对应的红外 图像集， 所述红外图像集包括多张第二红外图像， 所述多张第二红外图像与所述多张第二彩色图像 一一对应； 其中， 所述图像风格迁移模型通过权利要求1至5任一项所述的图像风格迁移模 型的训练方法训练得到； 将所述彩色图像集及所述红外图像集输入人脸识别模型， 并对所述人脸识别模型进行 训练， 得到目标 人脸识别模型。 8.一种图像风格迁移模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取彩色图像及红外图像， 所述彩色图像及所述红外图像均包括人脸； 提取模块， 用于提取 所述彩色图像的第一内容特 征及所述红外图像的第一 风格特征； 生成模块， 用于利用初始图像风格迁移模型， 生成所述彩色图像对应的合成红外图像； 计算模块， 用于计算所述合成红外 图像和所述彩色图像之间的内容损 失、 及所述合成 红外图像和所述红外图像之间的风格损失； 迭代训练模块， 用于根据所述内容损 失和所述风格损 失， 对所述初始图像风格迁移模 型进行迭代训练， 获得目标图像风格迁移模型。 9.一种图像风格迁移装置， 其特 征在于， 包括： 获取模块， 用于获取第一彩色图像； 风格迁移模块， 用于将所述第一彩色图像输入图像风格迁移模型进行图像风格迁移， 得到所述第一彩色图像对应的第一红外图像， 所述第一红外图像中的内容与所述第一彩色 图像中的内容相同； 其中， 所述图像风格迁移模型通过权利要求1至5任一项所述的图像风 格迁移模型的训练方法训练得到 。 10.一种人脸识别模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取彩色图像集， 所述彩色图像集包括多张第二彩色图像； 风格迁移模块， 用于将所述彩色图像集输入图像风格迁移模型， 输出所述彩色图像集 对应的红外图像集， 所述红外图像集包括多张第二红外图像， 所述多张第二红外图像与所 述多张第二彩色图像一一对应； 其中， 所述图像风格迁移模型通过权利要求1至5任一项所 述的图像风格迁移模型的训练方法训练得到； 训练模块， 用于将所述彩色图像集及所述红外 图像集输入人脸识别模型， 并对所述人 脸识别模型进行训练， 得到目标 人脸识别模型。 11.一种电子设备， 包括处理器以及存储在存储器中并可在所述处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述 的图像风格迁移模 型的训练方法； 或， 实现如权利要求6所述的图像风格迁移方法； 或， 实现 如权利要求7 所述的人脸识别模型的训练方法。 12.一种计算机存储介质， 所述计算机存储介质存储有计算机程序， 其特征在于， 所述 计算机程序被处理器执行时实现如权利要求1至5任一项所述的图像风格迁移模型 的训练 方法； 或， 实现如权利要求6所述的图像风格迁移方法； 或， 实现如权利要求7所述的人脸识 别模型的训练方法。权　利　要　求　书 2/2 页 3 CN 115424332 A 3