(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210826024.7 (22)申请日 2022.07.14 (71)申请人 北京城市网邻 信息技术有限公司 地址 100015 北京市朝阳区酒仙桥北路甲 10号院101号楼1-7层内1层10 3室 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 孙姣 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06V 10/75(2022.01) G06T 7/73(2017.01) (54)发明名称 全景图像拼接方法、 装置、 电子设备、 介质和 程序产品 (57)摘要 本公开的实施例公开了全景图像拼接方法、 装置、 电子设备、 介质和程序产品。 该方法的一具 体实施方式包括： 从二维图像序列中的每个二维 图像中提取图像特征点， 得到图像特征点组序 列； 对于图像特征点组序列中每个图像特征点组 和图像特征点组的下一图像特征点组， 执行以下 步骤： 响应于确定下一图像特征点组中不存在与 图像特征点组中的图像特征点匹配的下一图像 特征点， 根据对应下一图像特征点组的二维图 像， 生成下一三维图像； 根据下一三维图像， 以及 对应图像特征点组的二维图像或图像特征点组， 生成相机位姿信息； 根据所生 成的各个相机位姿 信息， 将二维图像序列拼接为全景图像。 该实施 方式可以提高拼接的全景图像的质量， 缩短拼接 全景图像的时长 。 权利要求书3页 说明书14页 附图5页 CN 115170395 A 2022.10.11 CN 115170395 A 1.一种全景图像拼接方法， 包括： 从二维图像序列中的每个二维图像中提取图像特征点， 以组成对应所述二维图像的图 像特征点组， 得到所述 二维图像序列对应的图像特 征点组序列； 对于所述图像特征点组序列中每个图像特征点组和所述每个图像特征点组的下一图 像特征点组， 执 行以下相机位姿信息生成步骤： 响应于确定所述下一图像特征点组中不存在与所述每个图像特征点组中的图像特征 点匹配的下一图像特征点， 根据对应所述下一图像特征点组的二维 图像， 生成下一三维 图 像； 根据所述下一三维图像， 以及对应所述每个图像特征点组 的二维图像或所述每个图像 特征点组， 生成所述每 个图像特 征点组对应的相机位姿信息； 根据所生成的各个相机位姿信息， 将所述 二维图像序列拼接为全景图像。 2.根据权利要求1所述的方法， 其中， 在所述从二维图像序列中的每个二维图像中提取 图像特征点之前， 所述方法还 包括： 获取二维图像序列。 3.根据权利要求2所述的方法， 其中， 所述获取二维图像序列， 包括： 在拍摄界面显示拍摄提 示信息； 将摄像装置采集的各个二维图像组合为二维图像序列， 其中， 所述各个二维图像是用 户根据所述拍摄提 示信息拍摄的。 4.根据权利要求2所述的方法， 其中， 所述获取二维图像序列， 还 包括： 获取对应所述 二维图像序列的拍摄位姿信息集 合。 5.根据权利要求1所述的方法， 其中， 在所述从二维图像序列中的每个二维图像中提取 图像特征点， 以组成对应所述二维 图像的图像特征点组， 得到所述二维 图像序列对应的图 像特征点组序列之后， 所述方法还 包括： 对所述图像特征点组序列中的每个图像特征点组进行过滤， 以对所述图像特征点组进 行更新， 得到更新后的图像特 征点组序列。 6.根据权利要求1 ‑5之一所述的方法， 其中， 所述相机位姿信息生成步骤 还包括： 响应于确定所述下一图像特征点组中的各个图像特征点与所述每个图像特征点组中 的各个图像特征点匹配， 根据所述每个图像特征点组和所述下一图像特征点组， 生成所述 每个图像特 征点组对应的相机位姿信息 。 7.根据权利要求4所述的方法， 其中， 所述根据所述下一三维图像， 以及对应所述每个 图像特征点组的二维图像或所述每个图像特征点组， 生成所述每个图像特征点组对应的相 机位姿信息， 包括： 从所述下一三维图像中提取三维图像特征点作为下一三维图像特征点， 以组成下一三 维图像特 征点组； 响应于确定所述下一三维图像特征点组中的各个下一三维图像特征点与所述每个图 像特征点组中的各个图像特征点匹配， 根据所述每个图像特征点组和所述下一三 维图像特 征点组， 生成所述每 个图像特 征点组对应的相机位姿信息 。 8.根据权利要求7所述的方法， 其中， 所述根据所述下一三维图像， 以及对应所述每个 图像特征点组的二维图像或所述每个图像特征点组， 生成所述每个图像特征点组对应的相权　利　要　求　书 1/3 页 2 CN 115170395 A 2机位姿信息， 还 包括： 响应于确定所述下一三维图像特征点组中不存在与所述每个图像特征点组中的图像 特征点匹配的下一三 维图像特征点， 将所述拍摄位姿信息集合中对应所述每个图像特征点 组和所述下一 三维图像的拍摄位姿信息确定为相机位姿信息 。 9.根据权利要求4所述的方法， 其中， 所述根据所生成的各个相机位姿信息， 将所述二 维图像序列拼接为全景图像， 包括： 对于所生成的每 个相机位姿信息， 执 行以下步骤： 从所述拍摄位姿信息集合中选择对应所述相机位姿信息的拍摄位姿信息作为目标拍 摄位姿信息； 根据所述相机位姿信息， 对所述相机位姿信息对应的二维图像进行投影， 得到第一投 影图像； 根据所述目标拍摄位姿信息， 对所述相机位姿信息对应的二维图像进行投影， 得到第 二投影图像； 根据所述第 一投影图像和所述二维图像的下一二维图像， 生成所述相机位姿信 息对应 的误差作为第一 误差； 根据所述第 二投影图像和所述下一二维图像， 生成所述目标拍摄位姿信 息对应的误差 作为第二 误差； 根据所述第一误差、 所述第 二误差、 所述相机位姿信息和所述目标拍摄位姿信 息， 确定 目标位姿信息； 根据所确定的各个目标位姿信息， 将所述 二维图像序列拼接为全景图像。 10.一种全景图像拼接装置， 包括： 提取单元， 被配置成从二维图像序列中的每个二维图像中提取图像特征点， 以组成对 应所述二维图像的图像特 征点组， 得到所述 二维图像序列对应的图像特 征点组序列； 执行单元， 被配置成对于所述图像特征点组序列中每个图像特征点组和所述每个图像 特征点组的下一图像特征点组， 执行以下相 机位姿信息生成步骤： 响应于确定所述下一图 像特征点组中不存在与所述每个图像特征点组中的图像特征点匹配的下一图像特征点， 根 据对应所述下一图像特征点组的二 维图像， 生 成下一三 维图像； 根据所述下一三维图像， 以 及对应所述每个图像特征点组的二维图像或所述每个图像特征点组， 生成所述每个图像特 征点组对应的相机位姿信息； 拼接单元， 被配置成根据所生成的各个相机位姿信息， 将所述二维图像序列拼接为全 景图像。 11.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 其上存 储有一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑9中任一所述的方法。 12.一种计算机可读介质， 其上存储有计算机程序， 其中， 所述程序被处理器执行时实 现如权利要求1 ‑9中任一所述的方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根权　利　要　求　书 2/3 页 3 CN 115170395 A 3