(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933254.3 (22)申请日 2022.08.04 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100086 北京市海淀区丰豪东路9号院 2号楼5层4单 元506 (72)发明人 王粟瑶　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 邓静 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) (54)发明名称 训练样本的获得方法及其装置、 模 型训练方 法及其装置 (57)摘要 本发明公开了训练样本的获得方法及其装 置、 模型训练方法及其装置， 首先获取包含有目 标对象的原始图像， 并在原始图像中添加第一标 签； 基于第一标签在原始图像中添加第二标签， 以及基于第二标签在原始图像中添加第三标签， 并基于原始图像和标签图像， 得到训练样本。 如 此， 本公开的训练样本不但标记出了目标对象和 图像的位置关系， 还 标记出了目标对象的边缘区 域以及关键点位置， 通过对训练样 本中的目标对 象进行全方位多重标记来强化目标对象在训练 样本中的感知度， 进而使利用此训练样本训练出 的模型能够 精确地对目标对象进行感知， 进而提 高对路况的识别能力， 有助于自动驾驶的路径规 划以及辅助建立高精地图， 从而提高自动驾驶的 安全性。 权利要求书3页 说明书12页 附图4页 CN 115272801 A 2022.11.01 CN 115272801 A 1.一种训练样本的获得 方法， 其中， 所述方法包括： 获取原始图像， 所述原 始图像中包 含目标对象； 在所述原始图像中添加第 一标签， 所述第 一标签用于标记所述目标对象所在区域在所 述原始图像的像面中的位置； 基于所述第一标签， 在所述原始图像中添加第二标签， 所述第二标签用于标记所述目 标对象的边 缘区域在所述原 始图像的像面中的位置； 基于所述第二标签， 在所述原始图像中添加第三标签， 所述第三标签用于标记所述目 标对象的关键点在所述原 始图像的像面中的位置； 基于所述第三标签， 得到标签图像； 基于所述原 始图像和所述标签图像， 得到训练样本 。 2.如权利要求1所述的方法， 其中， 所述基于所述第一标签， 在所述原始图像中添加第 二标签， 包括： 基于所述第一标签， 在所述原始图像中确定出所述目标对象的整体区域， 并获得所述 整体区域外沿的像素点； 将所述外沿像素点向内扩展预设距离作为边缘区域， 获得所述目标对象在所述边缘 区 域的像素点； 将所述边缘区域的像素点标记为所述第二标签。 3.如权利要求1或2所述的方法， 其中， 所述基于所述第 二标签， 在所述原始图像中添加 第三标签， 包括： 基于所述第二标签， 在所述原始图像中确定出所述目标对象的边缘区域， 并获得所述 边缘区域的像素点； 从所述边缘区域的像素点中， 查找位于所述像面的下方的边缘区域的n个像素点作为 所述关键点； 将n个所述关键点标记为所述第三标签。 4.如权利要求3所述的方法， 其中， 所述基于所述原始图像和所述标签图像， 获得训练 样本， 包括： 对所述标签图像进行裁剪， 裁剪掉所述标签图像中除所述目标对象所在区域外的其它 区域， 获得裁 剪图像； 基于所述裁 剪图像和所述原 始图像， 获得 所述训练样本 。 5.如权利要求 4所述的方法， 其中， 所述对所述标签图像进行裁 剪， 包括： 基于所述第三标签， 在所述标签图像中提取 特征信息； 基于所述特征信息， 将所述标签图像裁剪成两部分， 获得第一裁剪 图像和第二裁剪 图 像。 6.如权利要求5所述的方法， 其中， 所述基于所述第三标签， 在所述标签图像中提取特 征信息， 包括： 基于所述第三标签， 在所述标签图像中获取n个最下像素点的坐标； 基于所述n个最下像素点的坐标， 获得第一特征信息和第二特征信息； 其中， 所述第一 特征信息为所述n个最下像素点中最左侧的最下像素点的横坐标， 所述第二特征信息为所 述n个最下像素点中最右侧的最下像素点的横坐标；权　利　要　求　书 1/3 页 2 CN 115272801 A 2基于所述n个最下像素点的横坐标， 计算所述n个最下像素点中相邻 两个最下像素点的 横坐标的差值， 共获得n ‑1个差值； 基于所述n ‑1个差值， 获得第三特征信息和第四特征信息； 其中， 所述第三特征信息为 所述n‑1个差值的平均值， 所述第四特征信息为与最大差值对应的两个相邻的最下像素点 的横坐标。 7.如权利要求6所述的方法， 其中， 所述基于所述特征信息， 将每张所述标签图像裁剪 成两部分， 获得第一裁 剪图像和第二裁 剪图像， 包括： 基于所述第一特 征信息和所述第三特 征信息， 确定所述第一裁 剪图像的第一端点； 基于所述第三特 征信息和所述第四特 征信息， 确定所述第一裁 剪图像的第二端点； 基于所述第三特 征信息和所述第四特 征信息， 确定所述第二裁 剪图像的第三端点； 基于所述第二特 征信息和所述第三特 征信息， 确定所述第二裁 剪图像的第四端点； 以所述第一端点和所述第二端点作为边界截取所述标签图像， 获得所述第一裁剪图 像； 以所述第三端点和所述第四端点作为边界截取所述标签图像， 获得所述第二裁剪图 像。 8.一种训练样本的获得装置， 其中， 所述装置包括： 获取模块， 用于获取原 始图像， 所述原 始图像中包 含目标对象； 第一添加模块， 用于在所述原始图像中添加第一标签， 所述第一标签用于标记所述目 标对象所在区域在所述原 始图像的像面中的位置； 第二添加模块， 用于基于所述第 一标签， 在所述原始图像 中添加第二标签， 所述第二标 签用于标记所述目标对象的边 缘区域在所述原 始图像的像面中的位置； 第三添加模块， 用于基于所述第 二标签， 在所述原始图像 中添加第三标签， 所述第三标 签用于标记所述目标对象的关键点在所述原 始图像的像面中的位置； 第一获得模块， 用于基于所述第三标签， 得到标签图像； 第二获得模块， 用于基于所述原 始图像和所述标签图像， 得到训练样本 。 9.一种模型训练方法， 其中， 所述方法包括： 获取训练样本， 所述训练样本基于 权利要求1 ‑7任一权项所述的方法步骤获得； 将所述训练样本分别 输入初始神经网络的整体语义分割初始子网络、 边缘语义分割初 始子网络、 关键点回归初始子网络中进 行训练， 分别得到整体区域分割预测值、 边缘区域分 割预测值、 关键点回归预测值； 基于所述整体区域分割预测值、 所述边缘 区域分割预测值、 所述关键点 回归预测值， 确 定整体区域分割损失值、 边 缘区域分割损失值、 关键点回归损失值； 将所述整体区域分割损 失值、 所述边缘区域分割损 失值、 所述关键点回归损 失值之和 确定为网络整体损失值， 并基于所述网络整体损失值对整体语义分割初始子网络、 边缘语 义分割初始子网络、 关键点回归初始子网络进行调整， 得到包括整体语义分割子网络、 边缘 语义分割子网络、 关键点回归子网络的网络模型。 10.一种模型训练装置， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的 计算机程序， 其中， 所述处 理器执行所述程序时可以实现如权利要求9所述的方法步骤。 11.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算权　利　要　求　书 2/3 页 3 CN 115272801 A 3