(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209205.5 (22)申请日 2022.03.04 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 秦红星　刘启煌　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于多任务学习的人体点云骨架提取 方法 (57)摘要 本发明涉及一种基于多任务学习的人体点 云骨架提取方法， 属于计算机图形学领域。 该方 法包括： 通过PointCNN和MLP得到歧义点云和非 歧义点云， 消除歧义点云， 取非歧义点云作为感 兴趣点云； 将感兴趣点云输入到PointCNN， 采用 多任务学习预测点的偏移向量 以及人体部位分 割， 结合预测的偏移向量以及部位得到预测的关 节点集合； 剔除关节点预测值集合中的低质量预 测； 对高质量预测点使用DBSCAN聚类方法， 得到 每个部位关节 点坐标预测值； 根据关节点的预测 语义信息， 将所有关节点连接为3D人体骨架； 根 据人体结构的先验知 识， 检查并修复3D人体骨架 中的错误。 本发 明提高了三维人体骨架提取的准 确率。 权利要求书2页 说明书5页 附图3页 CN 114549862 A 2022.05.27 CN 114549862 A 1.一种基于多任务学习的人体点云骨架提取方法， 其特征在于， 该方法具体包括以下 步骤： S1： 通过PointCNN网络提取3D人体点云每一个表面点云特征， 然后通过多层感知机MLP 对每个点进 行二分类， 得到歧义点云和非歧义点云， 消除歧义点云， 取非歧义点云作为 感兴 趣点云； S2： 将感兴趣点云输入到PointCNN网络提取每一点特征， 采用多任务学习的方式， 同时 预测点的偏移向量以及人体部位分割， 结合预测的偏移向量以及部位得到预测的关节点集 合； S3： 计算点的密度作为 一个点的质量度量， 剔除关节点预测值 集合中的低质量预测； S4： 对筛选后的高质量的预测点使用DBSCAN聚类方法， 得到每个部位关节点坐标预测 值； S5： 根据关节点的预测语义信息， 将所有关节点连接为3D人体骨架； S6： 根据人体结构的先验知识， 检查并修复3D人体骨架中的错 误。 2.根据权利要求1所述的人体点云骨架提取方法， 其特征在于， 步骤S1中， 消除歧义点 云， 具体包括： 首先将归一化后的人体点云模型输入到第一阶段子网络， 该子网络使用 PointCNN中的x ‑conv和x‑deconv算子 学习每个表面点的128维特征； 然后将128维特征输入 到MLP， 并使用softmax激活函数， 得到每个点为歧义点的概率p， 将概率p大于0.5的点标记 为歧义点并将其剔除， 得到感兴趣点云。 3.根据权利要求1所述的人体点云骨架提取方法， 其特征在于， 步骤S2具体包括： 多任 务学习部位分割与偏移向量偏移， 其中 以感兴趣点云为第二阶段子网络的输入， 该子网络 使用PointCNN中的x ‑conv和x‑deconv算子重新习得每个表面点的192维特征， 将学习得到 的192维特征用于两个方面： (1)用于人体部位分割， 将192维特征输入MLP， 并使用softmax激活函数， 得到每个点属 于每个关节部位的概 率， 将概率最大的对应的部位预测为该点所属的关节部位； (2)用于偏移向量预测， 将192 维特征输入多层感知机MLP， 输出每个表面点到对应关节 点的偏移向量预测值， 将偏移向量分解为单位向量unit与模长length两个子任务进行学 习， 两者相乘得到偏移向量， 然后将 每个表面点沿着偏移向量预测值收缩， 得到一个关节 点 位置预测值， 最终将感兴趣点云转 化为关节点预测值 集合。 4.根据权利要求3所述的人体点云骨架提取方法， 其特征在于， 步骤S2中， 在偏移向量 预测时， 将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习， 并采用 自适应权 重来对多任务损失进行优化， 计算公式如下： Ltotal＝Loffset+Lseg   (1) 其中， Ltotal是总损失函数， Loffset是偏移向量损失函数， Lseg是部位分割损失函数； 而 Loffset、 Lseg计算分别如下： 权　利　要　求　书 1/2 页 2 CN 114549862 A 2其中， σ1、 σ2、 σ3是权重参数， Llength为模长损失函数， Lunit为单位向量损失函数； 公式(3) 中， 等式左边Lseg为多任务优化后的部位分割损失函数， 等式右边的Lseg为原始未进行多任 务优化的部位分割损失函数。 5.根据权利要求3所述的人体点云骨架提取方法， 其特征在于， 步骤S3中， 剔除关节点 预测值集合中的低质量预测， 具体包括： 对于步骤S2 中的关节点预测值jpre， 预测类别为A， 即 中每个点计算密度ρi， ρi是以点pi为球心ri为半径所包含的点数量与A类别的点数量 的比例； 计算出所有点的密度后进行降序， 筛选出密度前60％作为A类别的高质量关节点 云。 6.根据权利要求1所述的人体点云骨架提取方法， 其特征在于， 步骤S4中， 对筛选后的 每一个部位类别的高质量预测点使用DBSCAN聚类方法， 得到每个部位关节点坐标预测值， 具体方法为： 如果某部位类别点云只聚成一簇， 则直接取该簇的质心作为部位的关节点坐 标预测值； 如果聚簇数大于1时， 取簇中点数量最多一簇的质心作为该部位类别的关节点坐 标预测值， 其 余簇的质心作为 候选关节点保存到该部位类别的候选点列表中。 7.根据权利要求1所述的人体点云骨架提取方法， 其特征在于， 步骤S5具体包括： 将关 节点坐标预测值语义以及语义之间的连接关系进行 连接， 得到 3D人体点云骨架。 8.根据权利要求1所述的人体点云骨架提取方法， 其特征在于， 步骤S6具体包括： 根据 人体结构的先验知识， 通过增加三个约束条件来对骨架中的潜在错误进行检查和修正； 其 中， 三个约束条件为： (1)对称肢体长度相同； (2)肢体长度应该在合 适的范围内； (3)肢体与肢体角度是否在合 适范围内。权　利　要　求　书 2/2 页 3 CN 114549862 A 3