(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136130.9 (22)申请日 2022.09.19 (71)申请人 维沃移动通信有限公司 地址 523863 广东省东莞 市长安镇维沃路1 号 (72)发明人 熊峻峰　 (74)专利代理 机构 北京东方亿 思知识产权代理 有限责任公司 1 1258 专利代理师 张卉雨 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01) G06T 3/40(2006.01) G06T 5/30(2006.01) G06V 10/80(2022.01)G06V 10/24(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像生成方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种图像生成方法、 装置、 设 备及介质， 属于人工智 能技术领域， 图像生成方 法包括： 获取采集数据， 采集数据包括多帧原始 图像、 原始图像对应的深度图以及原始图像对应 的运动传感器数据； 在原始图像中， 确定参考图 像和非参考图像； 对参考图像和参考图像对应的 深度图进行特征提取， 得到参考特征图， 对非参 考图像和非参考图像对应的深度图进行特征提 取， 得到非参考征图； 根据参考图像对应的运动 传感器数据、 非参考图像对应的运动传感器数 据、 参考特征图和非参考特征图， 确定非参考图 像的目标运动场矩阵； 根据参考特征图、 非参考 特征图和非参考图像的目标运动场矩阵， 重建得 到多帧原 始图像对应的超分辨 率重建图像 。 权利要求书3页 说明书23页 附图8页 CN 115423873 A 2022.12.02 CN 115423873 A 1.一种图像生成方法， 其特 征在于， 包括： 获取采集数据， 所述采集数据包括多帧原始图像、 所述原始图像对应的深度图以及所 述原始图像对应的运动传感器数据； 在所述原 始图像中， 确定参 考图像和非参 考图像； 对所述参考图像和所述参考图像对应的深度图进行特征提取， 得到参考特征图， 对所 述非参考图像和所述非参 考图像对应的深度图进行 特征提取， 得到非参 考特征图； 根据所述参考图像对应的运动传感器数据、 所述非参考图像对应的运动传感器数据、 所述参考特征图和所述非参考特征图， 确定所述非参考图像的目标运动场矩阵， 所述 目标 运动场矩阵包括所述非参 考图像中多个 像素相对于所述 参考图像的目标估计位姿； 根据所述参考特征图、 所述非参考特征图和所述非参考图像的目标运动场矩阵， 进行 超分辨率重建， 生成所述多帧原 始图像对应的超分辨 率重建图像。 2.根据权利要求1所述的图像生成方法， 其特征在于， 所述在所述原始图像中， 确定参 考图像和非参 考图像， 包括： 确定所述原 始图像的图像清晰度； 在所述原始图像中， 确定所述参考图像为图像清晰度最高的图像， 确定所述非参考图 像为所述原 始图像中除所述 参考图像以外的剩余图像。 3.根据权利要求2所述的图像生成方法， 其特征在于， 所述确定所述原始图像的图像清 晰度， 包括： 确定所述原 始图像对应的形态学梯度图； 根据所述形态学梯度图， 确定所述原 始图像的图像清晰度。 4.根据权利要求1 ‑3中任一项所述的图像生成方法， 其特征在于， 所述根据所述参考图 像对应的运动传感器数据、 所述非参考图像对应的运动传感器数据、 所述参考特征图和所 述非参考特征图， 确定所述非参 考图像的目标运动场矩阵， 包括： 根据所述参考图像对应的运动传感器数据， 对所述非参考图像对应的运动传感器数据 进行校正， 得到所述非参考图像的初始运动场矩阵， 所述初始运动场矩阵包括所述非参考 图像中的多个 像素相对于所述 参考图像的初始估计位姿； 根据所述参考特征图、 所述非参考特征图以及所述非参考图像的初始运动场矩阵， 确 定所述非参 考图像的目标运动场矩阵。 5.根据权利要求4所述的图像生成方法， 其特征在于， 所述根据 所述参考图像对应的运 动传感器数据， 对所述非参考图像对应的运动传感器数据进行校正， 得到所述非参考图像 的初始运动场矩阵， 包括： 对所述参考图像对应的运动传感器数据进行数据处理， 确定所述参考图像对应的位移 和所述参考图像对应的姿态角度； 对所述非参考图像对应的运动传感器数据进行数据处理， 确定所述非参考图像对应的 位移和所述非参 考图像对应的姿态角度； 以所述参考图像对应的位移为参考位移， 基于所述非参考图像对应的位移， 确定所述 非参考图像相对于所述 参考图像的相对位移； 以所述参考图像对应的姿态角度为参考角度， 基于所述非参考图像对应的姿态角度， 确定所述非参 考图像相对于所述 参考图像的相对角度；权　利　要　求　书 1/3 页 2 CN 115423873 A 2基于所述相对位移和所述相对角度， 得到所述初始运动场矩阵。 6.根据权利要求4所述的图像生成方法， 其特征在于， 所述根据所述参考特征图、 所述 非参考特征图 以及所述 非参考图像的初始运动场矩阵， 确定所述 非参考图像的目标运动场 矩阵， 包括： 对所述非参考特征图与所述参考特征图进行特征相关性求解， 得到所述非参考图像对 应的特征相关性矩阵； 对所述非参考图像对应的特征相关性矩阵和所述非参考图像的初始运动场矩阵进行 特征解码， 得到所述非参 考图像的目标运动场矩阵。 7.根据权利要求1 ‑3中任一项所述的图像生成方法， 其特征在于， 所述根据所述参考特 征图、 所述 非参考特征图和所述 非参考图像的目标运动场矩阵， 进 行超分辨率重 建， 生成所 述多帧原 始图像对应的超分辨 率重建图像， 包括： 根据所述参考特征图和所述非参考图像的目标运动场矩阵， 校正所述非参考特征图， 得到所述非参 考图像对应的校正特 征图； 对所述参考特征图和所述非参考图像对应的校正特征图进行特征融合， 得到融合特征 图； 基于所述融合特 征图进行超分辨 率重建， 得到所述超分辨 率重建图像。 8.根据权利要求7所述的图像生成方法， 其特征在于， 所述根据 所述参考特征图和所述 非参考图像的目标运动场矩阵， 校正所述非参考特征图， 得到所述非参考图像对应的校正 特征图， 包括： 根据所述 参考特征图， 确定所述 参考特征图对应的坐标矩阵； 根据所述参考特征图对应的坐标矩阵和所述非参考图像的目标运动场矩阵， 确定所述 非参考特征图对应的坐标矩阵； 根据所述非参考特征图对应的坐标矩阵， 对所述非参考特征图进行特征值采样， 得到 所述非参 考图像对应的校正特 征图。 9.根据权利要求7所述的图像生成方法， 其特征在于， 所述根据 所述参考图像对应的运 动传感器数据、 所述非参考图像对应的运动传感器数据、 所述参考特征图和所述非参考特 征图， 确定所述非参 考图像的目标运动场矩阵之后， 还 包括： 通过对所述参考图像、 所述非参考图像、 所述参考特征图与所述非参考特征图的特征 相关性以及所述 非参考图像的目标运动场矩阵进 行特征提取， 确定所述 非参考图像的目标 运动场矩阵的置信度； 所述对所述参考特征图和所述非参考图像对应的校正特征图进行特征融合， 得到 融合 特征图， 包括： 根据所述非参考图像的目标运动场矩阵中的运动参数， 确定所述非参考图像对应的第 一权重； 根据所述参考特征图、 所述非参考特征图和所述非参考图像的目标运动场矩阵的置信 度， 确定所述非参 考图像对应的第二权 重； 根据所述非参考图像对应的第 一权重和所述非参考图像对应的第 二权重， 对所述非参 考特征图和所述 参考特征图进行 特征融合， 得到所述融合特 征图。 10.一种图像生成装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115423873 A 3