(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210595817.2 (22)申请日 2022.05.30 (65)同一申请的已公布的文献号 申请公布号 CN 114677651 A (43)申请公布日 2022.06.28 (73)专利权人 山东极视角科技有限公司 地址 266000 山东省青岛市黄岛区庐山路 57号经控大厦3层 (72)发明人 邓富城　罗韵　陈振杰　 (74)专利代理 机构 深圳腾文知识产权代理有限 公司 44680 专利代理师 杨彩兰 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01)G06T 7/20(2017.01) (56)对比文件 CN 104616 317 A,2015.0 5.13 CN 10837 7419 A,2018.08.07 CN 112862853 A,2021.0 5.28 审查员 谢婉婉 (54)发明名称 一种基于低画质低帧率视频的客流统计方 法及相关装置 (57)摘要 本申请公开了一种基于低画质低帧率视频 的客流统计方法及相关装置， 用于提高针对低画 质低帧率视频条件下客流统计的精度。 本申请方 法包括： 获取视频图像序列， 所述视频序列包含 若干图像帧； 将所述图像帧输入至头肩检测器， 得到头肩检测结果； 将所述头肩检测结果输入至 一级多目标跟踪器以生成所述一级多目标跟踪 器的第一跟踪轨迹， 并根据所述第一跟踪轨迹确 定目标图像帧中的目标头肩检测结果； 将所述目 标头肩检测结果输入至二级多目标跟踪器以生 成所述二级多目标跟踪器的第二跟踪轨迹， 所述 二级多目标跟踪器由若干个单目标跟踪器构成； 根据所述第二跟踪轨 迹进行客 流统计。 权利要求书2页 说明书11页 附图5页 CN 114677651 B 2022.09.27 CN 114677651 B 1.一种基于低画质低帧率视频的客 流统计方法， 其特 征在于， 所述 客流统计方法包括： 获取视频图像序列， 所述视频图像序列包 含若干图像帧； 将所述图像帧输入至 头肩检测器， 得到 头肩检测结果； 将所述头肩检测结果输入至一级多目标跟踪器以生成所述一级多目标跟踪器的第一 跟踪轨迹， 并根据所述第一跟踪轨迹确定目标图像 帧中的目标头肩检测结果， 所述一级多 目标跟踪器用于通过卡尔曼 滤波运动建模根据上一帧目标的位置预测当前帧目标的位置； 将所述目标头肩检测结果输入至二级多目标跟踪器以生成所述二级多目标跟踪器的 第二跟踪轨迹， 所述二级多目标跟踪器由若干个单目标跟踪器构成， 所述单目标跟踪器用 于通过目标的外观特 征来预测目标在当前帧的位置； 根据所述第二跟踪轨 迹进行客 流统计； 所述将所述目标头肩检测结果输入至二级多目标跟踪器以生成所述二级多目标跟踪 器的第二跟踪轨 迹包括： 将所述目标头肩检测结果输入至二级多目标跟踪器中进行跟踪， 并确定所述目标图像 帧中的二级跟踪结果； 将所述目标头肩检测结果和所述 二级跟踪结果进行匹配； 若匹配成功， 则跟据 所述目标头肩检测结果生成所述二级多目标跟踪器的第 二跟踪轨 迹； 若匹配不成功， 则对未匹配成功的所述目标头肩检测结果进行反向跟踪； 若反向跟踪成功， 则根据所述反 向跟踪的结果生成所述二级多目标跟踪器的第 二跟踪 轨迹； 若反向跟踪不成功， 则根据 未匹配成功的所述目标头肩检测结果初始化所述二级多目 标跟踪器， 以生成所述 二级多目标跟踪器的第二跟踪轨 迹。 2.根据权利要求1所述的客流统计方法， 其特征在于， 在所述根据 所述第二跟踪轨迹进 行客流统计之前， 所述 客流统计方法还 包括： 根据所述第二跟踪轨 迹在所述目标图像帧中确定对应的目标跟踪结果； 判断所述目标跟踪结果是否位于预设 分析区外； 若是， 则确定所述目标跟踪结果对应的跟踪轨迹已跟踪结束， 并将所述目标跟踪结果 对应的跟踪轨 迹确定为目标跟踪轨 迹； 所述根据所述第二跟踪轨 迹进行客 流统计包括： 根据所述目标跟踪轨 迹进行客 流统计。 3.根据权利要求2所述的客流统计方法， 其特征在于， 所述根据 所述目标跟踪轨迹进行 客流统计包括： 通过所述目标跟踪轨迹的起点和终点与 预设门线之间的位置关系， 以及所述目标跟踪 轨迹的起点与预设门外点的位置关系进行客 流统计。 4.根据权利要求3所述的客流统计方法， 其特征在于， 所述通过所述目标跟踪轨迹的起 点和终点与预设门线之 间的位置关系， 以及所述目标跟踪轨迹的起点与预设门外点的位置 关系进行客 流统计包括： 若所述目标跟踪轨迹的起点和终点分别位于预设门线的两侧， 且所述目标跟踪轨迹的 起点和预设门外点 位于所述预设门线的同侧， 则确定进场人 数增加；权　利　要　求　书 1/2 页 2 CN 114677651 B 2若所述目标跟踪轨迹的起点和终点分别位于所述预设门线的两侧， 且所述目标跟踪轨 迹的起点和所述预设门外点分别位于所述预设门线的两侧， 则确定出场人 数增加。 5.一种基于低画质低帧率视频的客 流统计装置， 其特 征在于， 所述 客流统计装置包括： 获取单元， 用于获取视频图像序列， 所述视频图像序列包 含若干图像帧； 头肩检测单 元， 用于将所述图像帧输入至 头肩检测器， 得到 头肩检测结果； 一级跟踪单元， 用于将所述头肩检测结果输入至一级多目标跟踪器以生成所述一级多 目标跟踪器的第一跟踪轨迹， 并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测 结果， 所述一级多目标跟踪器用于通过卡尔曼滤波运动建模根据上一帧目标的位置预测当 前帧目标的位置； 二级跟踪单元， 用于将所述目标头肩检测结果输入至二级多目标跟踪器以生成所述二 级多目标跟踪器的第二跟踪轨迹， 所述二级多目标跟踪器由若干个单目标跟踪器构成， 所 述单目标跟踪器用于通过目标的外观特 征来预测目标在当前帧的位置； 客流统计单 元， 用于根据所述第二跟踪轨 迹进行客 流统计； 所述二级跟踪单 元包括： 二级跟踪模块， 用于将所述目标头肩检测结果输入至二级多目标跟踪器中进行跟踪， 并确定所述目标图像帧中的二级跟踪结果； 匹配生成模块， 用于将所述目标头肩检测结果和所述二级跟踪结果进行匹配； 若匹配 成功， 则跟据所述 目标头肩检测结果生成所述二级多目标跟踪器的第二跟踪轨迹； 若匹配 不成功， 则对未匹配成功的所述目标头肩检测结果进 行反向跟踪； 若反向跟踪成功， 则根据 所述反向跟踪的结果生成所述二级多目标跟踪器的第二跟踪轨迹； 若反向跟踪不成功， 则 根据未匹配 成功的所述目标头肩检测结果初始 化所述二级多目标跟踪器， 以生成所述二级 多目标跟踪器的第二跟踪轨 迹。 6.一种基于低画质低帧率视频的客 流统计装置， 其特 征在于， 所述 客流统计装置包括： 处理器、 存储器、 输入输出 单元以及总线； 所述处理器与所述存 储器、 所述输入输出 单元以及所述总线相连； 所述存储器保存有程序， 所述处理器调用所述程序以执行如权利要求1至4中任一项所 述方法。 7.一种计算机可读存储介质， 所述计算机可读存储介质上保存有程序， 所述程序在计 算机上执行时执行如权利要求1至4中任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114677651 B 3