(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450895.3 (22)申请日 2022.04.27 (71)申请人 淮阴工学院 地址 223003 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 高尚兵　张莹莹　李少凡　张海艳　 胡序洋　李杰　张秦涛　王媛媛　 于永涛　李翔　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 20/52(2022.01)G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于GA MHR-Net的多人姿态估计方法及 系统 (57)摘要 本发明设计了一种基于GAMHR ‑Net的多人姿 态估计方法及系统； 首先， 用目标检测 网络对输 入图像或视频进行检测， 获取人体位置信息； 构 建包括一个Stem ‑Net模块、 四个Stage模 块、 四个 transition模块以及三个GAMBlock模块的 GAMHR‑Net网络； 将人体位置信息与对应的图像 送入GAMHR ‑Net网络进行特征提取和特征融合； 将得到人体关节点并将关节点在原图像或原视 频上展示出来。 本发明充分利用现有特征的同 时， 再结合全局的语义信息， 实现了更加准确和 鲁棒的姿态预测； 通过Stem ‑Net结构， 利用并行 可分离卷积的思想来减少初步特征提取阶段时 底层信息的损失； 通过GA MBlock模块加强全局空 间通道的交互以减少信息的损失， 实现了较高的 关节点定位精度和召回率。 权利要求书2页 说明书8页 附图5页 CN 115019338 A 2022.09.06 CN 115019338 A 1.一种基于GAM HR‑Net的多人姿态估计方法， 其特 征在于， 包括以下步骤： (1)采用目标检测网络对输入图像或视频进行检测， 获取 人体位置信息； (2)构建GAMHR ‑Net网络； 所述GAMHR ‑Net网络包括一个Stem ‑Net模块、 四个Stage模块、 四个transition模块以及三个GAM  Block模块； 所述Stem ‑Net模块包括主干网络和Res ‑ multiConv结构； (3)将人体位置信息与对应的图像送入GAMHR ‑Net网络进行特征提取和特征融合； 首先 经Stem‑Net模块初步提取底层特征； 然后经Stage模块和GAM  Block模块进一步进行特征提 取， 并经t ransition模块进行 特征融合； (4)经过步骤(3)之后得到人体关节点并将关节点在原图像或原视频 上展示出来。 2.根据权利要求1所述的一种基于GAMHR ‑Net的多人姿态估计方法， 其特征在于， 步骤 (2)所述主干网络为一个步长为2， padding为1， 输入通道为3， 输出通道为64的3 ×3的卷积 层， 之后再经过Bat ch Normalization层和ReLu激活层； 然后， 再接一个步长为2， padding为 1， 输入通道为64， 输出通道为64的3 ×3的卷积层， 之后再经过BatchNormalization层和 ReLu激活层。 3.根据权利要求1所述的一种基于GAMHR ‑Net的多人姿态估计方法， 其特征在于， 所述 步骤(3)所述Stem ‑Net模块初步 提取底层特 征实现过程如下： Res‑multiConv结构将Stem ‑Net的主干网络分为两条支路； 第一条支路首先经过一个 步长为1， 卷积核大小为1 ×1的Depthwise卷积， 再经过卷积核大小为1 ×1的Pointwise卷 积， 再进行Batch  Normalization操作之后得到R11； 接着， 以R11作为输入， 经过一个步长为 1， 卷积核大小为1 ×1的Depthwise卷积， 再经过卷积核大小为1 ×1的Pointwise卷积， 再进 行BatchNormalization和ReLU操作之后得到R12； 然后， 以R12作为输入， 经过一个步长为1， 卷积核大小为1 ×1的Depthwise卷积， 再经过卷积核大小为1 ×1的Pointwise卷积， 再进行 BatchNormaliz ation操作之后得到R13； 最后， 将 R11和R13进行矩阵和操作， 再进行ReLu激 活之后得到R 1； 第二条支路首先经过一个步长为1， 卷积核大小为3 ×3的Depthwise卷积， 再经过卷积 核大小为1 ×1的Pointwise卷积， 再进行BatchNormalization操作之后得到R21； 接着， 以 R21作为输入， 经过一个步长为1， 卷积核大小为1 ×1的Depthwise卷积， 再经过卷积核大小 为1×1的Pointwise卷积， 再进行Batch  Normalization和ReLU操作之后得到R22； 然后， 以 R22作为输入， 经过一个步长为1， 卷积核大小为3 ×3的Depthwise卷积， 再经过卷积核大小 为1×1的Pointwise卷积， 再进行Batch  Normalization操作之后得到R23； 最后， 将R21和 R23进行矩阵和操作， 再进行ReLu激活之后得到R2； 将R1和R2进行矩阵和操作得到R， 提取到更多的底层特 征。 4.根据权利要求1所述的一种基于GAMHR ‑Net的多人姿态估计方法， 其特征在于， 步骤 (3)所述Stage模块和GAM  Block模块进一步进行特征提取， 并经transition模块进行特征 融合实现过程如下： 每个Stage模块中的每个branch都包含四个feature  map； Stage1有一个branch， 为 branch11， 其输入为R， branch11通过下采样和多次残差连接提取特征， 输入通道数为64， 输 出通道数为256； 然后通过步长为1， 大小为3 ×3的卷积保持该分支分辨率不变， 为 branch21， 该分支的输出通道数为48； 之后是transition1模块， 通过步长为2， 大小为3 ×3权　利　要　求　书 1/2 页 2 CN 115019338 A 2的卷积再产生 一个分支branc h22， 该分支的输出通道数为96； Stage2有两个branch， 分别为branch21和branch22， 在branch22的开始处设置一个GAM   Block模块， 首先通过步长为2， 大小为3 ×3的卷积对branch21的输出进行处理， 产生的通道 数为96， 然后与branch22的输出进行融合之后进入branch32； 然后通过步长为1， 大小为1 × 1的卷积对branch22的输出进行上采样， 该分支的输出通道数为48， 然后与branch21的输出 进行融合之后进入branch31； 之后是transition2模块， 通过步长为2， 大小为3 ×3的卷积对 branch22的输出进行处 理产生一个通道数为19 2的分支branc h33； Stage3有三个branch， 分别为branch3 1、 branch32和branch33， 在branch33的开始处设 置一个GAM  Block模块； 首先通过步长为2， 大小为3 ×3的卷积对branch31的输出进行处理， 输出通道数为48， 记 为T11； 然后通过步长为1， 大小为1 ×1的卷积对branch32的输出进行上 采样， 输出通道数为48， 记为T12； 再通过步长为1， 大小为1 ×1的卷积对branch33的输出进 行上采样， 输出通道数为48， 记为T13； 再将T11、 T12、 T13进行融合得到T1； 接着， 通过步长为 2， 大小为3 ×3的卷积对branch31 的输出进行处理， 输出通道数为96， 记为T21； 然后通过步 长为1， 大小为1 ×1的卷积对branch33的输出进行上采样， 输出通道数为96， 记为T23； branch32的输出不变， 记为T22， 再将T21、 T22、 T23进行融合得到T2； 之后， 通过步长为2， 大 小为3×3的卷积对branch31的输出进行处理， 输出通道数为192， 记 为T31； 然后通过步长为 2， 大小为3×3的卷积对branch32的输出进行处理， 输出通道数为192， 记为T32， branch33的 输出不变， 记为T33， 再将T31、 T32、 T33进行融合得到T3； Stage3重复四次之后是 transition3模块， 通过步长为2， 大小为3 ×3的卷积对branch33的输出进行处理， 输 出通道 数为384， 记为T4； Stage4有四个branch， 分别 为branch41、 branch42、 branch43和branch44， 在branch44 的开始处设置一个GAM  Block模块； 与Stage3类似进行交叉融合， 重复三次； 之后是 transition4模块， 首先通过步长为1， 大小为1 ×1的卷积分别对T1、 T2、 T3、 T 4的输出进行上 采样， 输出为