(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656288.2 (22)申请日 2022.06.10 (71)申请人 成都人人互娱科技有限公司 地址 610000 四川省成 都市中国 （四川） 自 由贸易试验区成都高新区交子大道 233号4-8楼 (72)发明人 周昌世　 (74)专利代理 机构 北京城烽知识产权代理事务 所(特殊普通 合伙) 11829 专利代理师 徐超 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于协作互学习的人群密度估计方法 及系统 (57)摘要 本发明公开一种基于协作互学习的人群密 度估计方法及系统。 其中， 该方法包括： 获取样本 视频并进行逐帧提取， 得到帧集合； 将帧集合通 过帧间差分运算提取关键帧， 将多个 关键帧集合 得到人群图片集； 将人群图片集进行人群位置标 注， 并将标注后的人群图片集划分为训练集、 测 试 集 和 验 证 集 ；通 过 以 轻 量 化 骨 架 (mobilenetV3)为网络主干的点对点网络 (P2PNet)和以定位分类骨 架(VGG16)为网络主干 的P2PNet对训练集进行训练， 得到最终人群检测 模型， 该模型准确率高、 并且具备体积小、 推理速 度快的优点； 并且通过1v1匈牙利匹配算法能够 精准的得到待检测的图片中人群的位置和人群 密度， 解决了现有技术中人群计数方法精度低、 准确率低的问题。 权利要求书3页 说明书12页 附图5页 CN 115205776 A 2022.10.18 CN 115205776 A 1.一种基于协作互学习的人群密度估计方法， 其特 征在于， 包括： S101， 获取样本 视频， 对所述样本 视频进行 逐帧提取， 得到帧集 合； S102， 将所述帧集合中每相邻两帧进行差分运算以获得每相邻两帧的差分值； 选取差 分值大于预设阈值的相邻 帧中的后一帧为关键帧， 将多个所述关键帧集合得到人群图片 集； S103， 将所述人群图片集进行人群位置标注， 并将标注后的所述人群图片集划分为训 练集、 测试集和验证集； S104， 将所述训练集同时输入到以轻量化骨架(mobilenetV3)为网络主干的点对点网 络(P2PNet)中和以定位分类骨架(VGG16)为网络主干的点对点网络(P2PNet)中进行训练， 并顺次通过 所述验证集进行验证、 所述测试集进行测试 得到最终人群 检测模型； S105， 将待检测的图片输入到所述最终人群检测模型中得到特征图， 将所述特征图通 过1v1匈牙利匹配算法得到所述待检测的图片中人群的位置和人群密度。 2.根据权利要求1所述的方法， 其特 征在于， 所述S104包括： S1041， 将所述训练集 中全部图片同时输入到以mobilenetV3为网络主干的点对点网络 (P2PNet)中和以VGG16为网络主干的点对点网络(P2PNet)中进行训练， 得到当前轮人群检 测模型和当前轮损失值； 通过 所述测试集对所述当前轮人群 检测模型进行测试； S1042， 将所述训练集中全部图片根据所述当前轮人群检测模型进行训练， 得到下轮人 群检测模型和下轮损失值； 通过 所述测试集对所述下轮人群 检测模型进行测试； S1043， 判断所述下轮损失值是否高于所述当前轮损失值， 若是， 将所述当前轮人群检 测模型作为最终人群检测模型； 反之， 将所述下轮人群检测模型作为所述当前轮人群检测 模型， 重复S1042和S1043， 直至所述下轮损失值高于所述当前轮损失值时， 不再进行训练， 得到最终人群检测模 型； 或当进 行到预设轮后， 该轮损失值仍低于上轮损失值， 将该轮损失 值对应的模型作为 最终人群 检测模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述S1041包括： S10411， 从所述训练集中抽取预设数量张图片作为当前迭代训练集并输入到以 mobilenetV3为网络主干的点对点网络(P2PNet)中和以VGG16为网络主干的点对点网络 (P2PNet)中进行训练， 得到当前迭代人群检测模型以及当前迭代实况损失值、 当前迭代对 等损失值和当前迭代蒸馏损失值； 通过所述验证集对所述当前迭代人群检测模型进行验 证； S10412， 将所述当前迭代实况损失值、 当前迭代对等损失值和当前迭代蒸馏损失值相 加得到当前迭代总损失值； S10413， 从所述训练集剩余的图片中抽取预设数量张图片作为下次迭代训练集， 并根 据所述当前迭代人群检测模型对所述下次迭代训练集进行训练， 得到下次迭代人群检测模 型以及下次迭代总损失值， 通过所述验证集对所述下次迭代人群检测模型进行验证； 重复 所述S10413， 直至将所述训练集中的全部图片训练完得到当前轮人群检测模型， 并将全部 的所述迭代损失值相加得到当前轮损失值。 4.根据权利要求3所述的方法， 其特 征在于， 在所述得到当前迭代总损失值之后包括： 根据所述当前迭代总损失值对所述当前迭代人群检测模型进行反 向传播， 以更新所述 当前迭代人群 检测模型。权　利　要　求　书 1/3 页 2 CN 115205776 A 25.根据权利要求3所述的方法， 其特征在于， 所述当前迭代实况损 失值、 当前迭代对等 损失值和当前迭代蒸馏损失值的计算公式为： Lossgt＝lcls(Sout,gt1)+λlloc(Sout,gt2)； Lossdistill＝γlcls(Sout， fdila(Tout))+lloc(Sout， fdila(Tout))； 其中， Lossgt为当前迭代实况损失值； lcls为以mobilenetV3为网络主干的点对点网络 (P2PNet)和以VGG16为网络主干的点对点网络(P2PNet)输出的分类损失； gt1为人群的分 类； lloc为以mobilenetV3为网络主干的点对点网络(P2PNet)和以VGG16为网络主干的点对 点网络(P2PNet)输出的位置损失； gt2为人群的位置； λ为第一预设值； Lossdml为当前迭代对 等损失值； KL为以mobilenetV3为网络主干的点对点网络(P2PNet)和以VGG16为网络主干的 点对点网络(P2PNet)之间的距离； S1pout为以mobilenetV3为网络主干的点对点网络 (P2PNet)输出的第一损失值； S2pout为以VGG16为网络主干的点对点网络(P2P Net)输出的第 二损失值； Lossdistill为当前迭代蒸馏损失值； fdila(Tout)为核为矩阵[[1， 1]， [1， 1]]的扩张 函数； γ为第二预设值。 6.根据权利要求1所述的方法， 其特征在于， 在所述将所述帧集合中每相邻 两帧进行差 分运算以获得每相邻两帧的差分值后包括： 将所有差分值保存为序列， 并将所述序列进行序列数据平滑， 得到经序列数据平滑后 的差分值序列。 7.一种基于协作互学习的人群密度估计系统， 其特 征在于， 包括： 获取单元， 用于获取样本 视频， 对所述样本 视频进行 逐帧提取， 得到帧集 合； 关键帧提取单元， 用于将所述帧集合中每相邻 两帧进行差分运算以获得每相邻 两帧的 差分值； 选取差分值大于预设阈值的相邻帧中的后一帧为关键 帧， 将多个所述关键帧集合 得到人群图片集； 划分单元， 用于将所述人群图片集进行人群位置标注， 并将标注后的所述人群图片集 划分为训练集、 测试集和验证集； 训练单元， 用于将所述训练集 同时输入到以轻量化骨架(mobilenetV3)为网络主干的 点对点网络(P2PNet)中和以定位分类骨架(VGG16)为网络主干的点对点网络(P2PNet)中进 行训练， 并顺次通过 所述验证集进行验证、 所述测试集进行测试 得到最终人群 检测模型； 检测单元， 用于将待检测的图片输入到所述最终人群检测模型中得到特征图， 将所述 特征图通过1v1匈 牙利匹配算法得到所述待检测的图片中人群的位置和人群密度。 8.根据权利要求7 所述的系统， 其特 征在于， 所述训练单 元包括： 当前轮训练子单元， 用于将所述训练集中全部图片同时输入到以mobilenetV3为网络 主干的点对点网络(P2PNet)中和以VGG16为网络主干的点对点网络(P2PNet)中进行训练， 得到当前轮人群检测模型和当前轮损失值； 通过所述测试集对所述当前轮人群检测模型进 行测试； 下轮训练子单元， 用于将所述训练集中全部图片根据所述当前轮人群检测模型进行训 练， 得到下轮人群检测模型和下轮损失值； 通过所述测试集对所述下轮人群检测模型进行 测试；权　利　要　求　书 2/3 页 3 CN 115205776 A 3