(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581240.X (22)申请日 2022.05.26 (71)申请人 淮阴工学院 地址 223000 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 杨玉东　张秀文　戴骥　李晓磊　 周杰　王赫鑫　冯梦婷　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于检测跟踪一体式的行 人跟踪方法 (57)摘要 本发明公开了一种基于检测跟踪一体式的 行人跟踪方法， 包括如下步骤： ( 1)选取目标区 域， 并对当前帧分别进行KCF目标行人跟踪以及 Fast‑RCNN行人检测； (2)在KCF目标行人跟踪阶 段， 首先进行变量初始化， 提取当前帧图像的目 标感兴趣区域， 调用KC F算法中的训练模块， 得到 更新后的岭回归系数α， 调用KCF算法中的跟踪 模块， 得到跟踪 候选目标Tα； (3)在Fast ‑RCNN目 标行人检测阶段， 采用Fast ‑RCNN通用目标检测 器对当前帧图像进行目标检测； (4)设计并训练 孪生网络目标确认模型L， 将Tα和 作为模 型输入， 得到确认的目标Ok； (5)设定跟踪结束条 件， 否则转入步骤(2)中KCF的跟踪模块。 本发明 使得行人跟踪过程中效率和准确度更高， 也在一 定程度上解决了目标漂移的问题。 权利要求书2页 说明书5页 附图1页 CN 114862914 A 2022.08.05 CN 114862914 A 1.一种基于检测跟踪一体式的行 人跟踪方法， 其特 征在于， 包括如下步骤： (1)取视频帧中的第k帧序列图像Mk， 1≤k≤K， K为该视频的总帧数， 对输入的第一帧选 取目标区域， 并对当前帧分别进行 KCF目标行人跟踪以及Fast ‑RCNN行人检测； (2)在KCF目标行人跟踪阶段， 首先进行变量初始化： 提取当前帧图像的目标感兴趣区 域， 即HOG特征区域， 定义目标特征集变量Fk， 同时初始化为X， 将X作为初始训练目标样本， 调用KCF算法中的训练模块， 得到更新后的岭回归系数α， 同样将X作为输入， 调用KCF算法中 的跟踪模块， 得到跟踪候选目标Tα； (3)在Fast ‑RCNN目标行人检测阶段， 采用Fast ‑RCNN通用目标检测器对步骤(2)中 的当 前帧图像进行目标检测， 得到检测候选目标合集Detk， 其中 是第n个行 人检测目标， 0 ≤n≤N， N 为检测的目标 行人的总个数， 在Detk中确定最终检测目标 (4)设计并训练孪生网络目标确认模型L， 将Tα和 作为模型输入， 得到确认的目标 Ok； (5)当k≥K时， 跟踪结束， 否则转入步骤(2)中KCF的跟踪模块。 2.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法， 其特征在于， 所述 步骤(1)中选取目标区域为： 对当前帧图像进行认为选定目标Objk， 并以目标Objk为中心向 外扩展一定的尺寸得到目标的扩展区域图像 3.根据权利要求1或2所述的一种基于检测跟踪一体式的行人跟踪方法， 其特征在于， 所述步骤(2)具体为： 对扩展区域 提取当前帧图像的目标感兴趣区域， 即HOG特征区域， 定义目标特征集变量Fk， 同时初始化为X， 将X作为初始训练目标样本， 通过循环移位目标样 本X， 提取到包含目标即正样 本， 以及背景信息即负样本的训练样本， 并构 造出循环矩阵， 增 加训练样本的数量， 使用采集到的正负样本来训练回归函数f(x)＝wTx， 通过最小化样本与 标签之间的误差平方和， 求 得权重向量w， 如(1)式所示， xi表示第i个训练样本， yi表示第i个 样本对应的标签， w 为分类器权重， λ为防止过拟合的正则化 参数： 在上一帧采集训练样本的同时， 在目标位置处采集预测的候选样本Z,利用上述训练样 本X和候选样本Z构造循环矩阵Cxz， 且Cxz＝H(kxz),kxz为训练样本X和候选样本Z生成的互相 关核向量， 计算所有候选样本的回归响应值， 如(2)式所示， α 为更新的岭回归系数， 生成的 回归响应反映了训练模板和候选样本之间的相关性， 最大响应值的位置即目标的可能位 置， 输出为目标Tα： f(z)＝(Kxz)Tα                     (2) 同时为了避 免跟踪过程因目标模板污染导致跟踪漂移， 需要对目标模板以及循环采样 时的权重向量进行实时更新， 具体的更新过程如下式(3.1)和(3.2)所示： Xt＝(1‑β )Xt‑1+β Xt             (3.1) αt＝(1‑β )αt‑1+β αt                 (3.2)。 4.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法， 其特征在于， 所述 步骤(3)在Fast ‑RCNN目标行人检测阶段， Fast ‑RCNN先用选择性的搜索找到目标候选框， 然权　利　要　求　书 1/2 页 2 CN 114862914 A 2后对当前帧图像进 行一次CNN检测， 使用感兴趣区域池化将目标候选框做采样， 得到相同长 度的特征， 而后经过两层全连接层之后得到最终的特征， 即检测候选目标合集Detk， 5.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法， 其特征在于， 所述 步骤(4)设计并训练孪生网络目标确认模 型L， 该模型为离线状态下训练好的已知模型， L模 型采用ResNet34作为特征提取网络， 将Tα和 作为模型输入， 两个孪生网络均为 ResNet34网络， 且权值w共享， 然后采用余弦相似度来衡量两者的相似性； 设ResNet34网络 Lw(x)， 其中w表示共享的权重参数， x表示为经ResNet34网络对Tα和 提取到的特征向 量， 设置合适的权重承参数w使得相似度度量的输出值最大， 如下式(4)所示， X1和X2分别为 ResNet34网络对Tα和 提取到的特 征向量： Ew(X1,X2)＝||Lw(X1)‑Lw(X2)||                (4) X1和X2作为L模型的输入， Y作为L模型的二分类标签， 当Y＝0时， X1和X2属于同一个目标， Y＝1时两者不是同一个目标， X1和X2通过ResNet34网络生成两个分支Lw(X1)和Lw(X2)， 并映 射到低维空间中， 获得嵌入函数Ew(X1,X2)来衡量X1和X2的相似性。 6.根据权利要求5所述的一种基于检测跟踪一体式的行人跟踪方法， 其特征在于， 为了 所述孪生网络在进 行特征提取时不丢失特征信息， 在L模型的相似度衡量的同时， 加入网络 模型损失函数的计算， 设 输 入 的 正 样 本 ( X1, X2) 和 负 样 本 且 满 足 任 意 m ＞ 0 ， 则该在L模型往 优化方向发展， 其损失函数为式(5.1)和(5.2)： S(w,(Y,X1,X2)i)＝(1‑Y)SG(Ew(X1,X2)i)+YSI(Ew(X1,X2)i)      (5.2) 其中， (Y,X1,X2)是孪生网络的样本对， LI和LG分别对应的正负样本对的空间损失函数， 对正负样本优化后的结果进行相似度度量计算， 求出相似度最大的结果即为最终的确认目 标。权　利　要　求　书 2/2 页 3 CN 114862914 A 3