(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489562.1 (22)申请日 2022.05.06 (71)申请人 安徽工业大学 地址 243032 安徽省马鞍山市湖东路59号 (72)发明人 单建华　孙宇昊　袁实　于斐斐　 丁星宇　 (74)专利代理 机构 合肥昊晟德专利代理事务所 (普通合伙) 3415 3 专利代理师 何梓秋 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06T 7/50(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于深度相机的人数进出实时计数方 法及系统 (57)摘要 本发明公开了一种基于深度相机的人数进 出实时计数方法及系统， 属于机器视觉算法技术 领域。 本发明对每一帧， 按 一定的扫描步长， 扫描 此帧， 获得像素点集合， 无需扫描整帧， 大大减少 算法时间复杂度； 由当前帧获得下一帧的最矮人 头位置当前值， 实时更新最矮人头位置， 准确性 好； 对于每一帧进行自适应分割， 可以避免跟踪 时的丢帧， 适用于行人身高差较大、 相互倚靠等 复杂场景， 流程简单， 稳定 可靠； 将历史帧潜在人 头区域集合与当前帧的潜在人头区域集合利用 广义距离进行匹配， 组成下一帧的历史帧潜在人 头区域集合， 对于连续匹配到多真的潜在人头区 域升级为人头区域， 实时地更新了人头区域集 合， 能够具有非常好的准确性、 稳定性和实时性。 权利要求书3页 说明书10页 附图7页 CN 114882404 A 2022.08.09 CN 114882404 A 1.一种基于深度相机的人 数进出实时计数 方法， 其特 征在于， 包括以下步骤： S1： 图像扫描 对于深度图的每一帧， 按设定扫描步长Nstep扫描此帧， 获得像素点 集合Sp； S2： 点集划分 将集合Sp内像素点的深度值与前帧的最矮人头位置当前值Hg进行比较， 大于Hg的像素 点存入地面集Sgp， 小于 Hg的像素点存 入非地面集Shp； S3： 二值化 从地面集Sgp中取第pg百分位数， 其中pg取85～95， 然后减去最矮人头高度常数Cmh,得 到下一帧的最矮人头位置当前值Hg； 从非地面集Shp中取第ph百分位数Hh， 其中ph取5～10， 根据Hh和一个人头长度常数Ln之和 Hn， 对深度图进行二值化， 对二值图提取最小外接矩形 并去除长宽边中有一边小于20～ 40mm的最小外接矩形， 剩下的最小外接矩形记 为新获得的 潜在人头区域 集合Snph； S4： 重叠判断 对集合Snph每个元素与已经获得的潜在人头区域集合Saph进行位置重叠判断， 如果不 重叠则该元素加入集 合Saph； S5： 矩形扩展 对集合Snph中每个最小外接矩形进行扩展， 删除位于扩展后矩形内的集合Shp中的点， 同时删除集 合Shp中Hn以上的元 素， 形成新的集 合Shp； S6： 自适应分割 重复进行步骤S3～S5， 直至集合Shp 元素数量小于设定阈值Nmhp， 即完成当前帧的自适 应分割； 记集 合Saph为当前帧的潜在人头区域 集合Scph； S7： 广义距离矩阵建立 建立当前帧的潜在人头区域集合Scph与历史帧的潜在人头区域集合Shph的广义距离 矩阵Md； S8： 集合匹配 对广义距离矩阵Md的元素按从小到大依次匹配， 完成集合Scph与集合Shph的匹配； 如 果集合Shph中的某个元素连续多帧都匹配到， 则 该元素升级为人头区域； 如果集合Shph中 的某个元 素连续多帧未匹配到， 则 删除该元素； 所有人头区域构成人头区域 集合Sp； S9： 运动轨 迹建立 根据集合Sp中每 个元素的中心位置建立该 元素的运动轨 迹； S10： 判断及统计 通过集合Sp元素的运动轨 迹判断进出 方向及统计 计数。 2.根据权利要求1所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S1中， 深度图通过固定安装在电梯门框上的深度相机垂直 地面拍摄而得。 3.根据权利要求1所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S3中， 对深度图进行二值化， 即将小于Hn的像素置为1， 将大于等于Hn的像素置为 0。 4.根据权利要求1所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S4中， 集 合Saph在每帧处 理前设置为空集。权　利　要　求　书 1/3 页 2 CN 114882404 A 25.根据权利要求1所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S5中， 集合Snph每个元素按设定比例值进行扩展， 扩展方式为将最小外接矩形的 两对角线长度分别扩展至设定 长度。 6.根据权利要求1所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S7中， 对集合S hph中每一个元素， 根据其历史位置信息预测其当前帧的位置， 根据 人头运动的连续性建立广义距离矩阵M d， 第r行第c列的数值是集合Shph的第r个元素与集 合Scph第c个的元 素中点的广义距离， 广义距离矩阵Md如下： 7.根据权利要求6所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S8中， 将集合Snph内每一个元素最小外接矩形T与集合Saph内所有的元素最小外 接矩形进行逐一匹配， 如果Saph内任一个元素最小外接矩形框Ts有超过z个顶点在T内， 或 者两矩形框中心点距离小于这两个矩形任一边长， 表示T已经被检测到， 直接丢弃； 否则认 为检测到一个新的元 素， T存入集合Saph中。 8.根据权利要求7所述的一种基于深度相机的人数进出实时计数方法， 其特征在于： 在 所述步骤S8中， 历史帧的潜在人头区域数目记 为Nh； 当前帧的潜在人头区域数目记 为Nc； 当 广义距离矩阵Md的最小元素所在的行为Rm， 列为Cn时， 说明集合Scph的第Cn个元素匹配上 了集合Shph的第Rm个元素； 然后把广义距离矩阵Md 的第Rm行和第Cn列的元素均置为一个 常 数Nmax； 重复上述两步操作， 直到矩阵Md内所有元素全部为Nmax， 说明匹配结束， 记匹配对 数目为Np； 如果Np等于Nh， 说明集合Shph的所有元素都与集合Scph的元素匹配上了， 集合 Scph产生了Nc ‑Nh个新的元素； 如果Np等于Nc， 说明集合Scph的所有元素都与集合Shph的元 素匹配上了， 集合Shph有Nh ‑Nc个元素未匹配上； 如果集合Shph的某个元素连续Nnot帧均未 匹配上， 说明该人头区域走出视野， 在集合S hph中删除该元素； 集合S cph的所有元素和集合 Shph中剩下的所有元素 组成下一帧的历史帧的潜在人头区域集合S hph； 如果集合S hph的某 一个元素连续Nfud帧均匹配上， 该潜在人头区域升级为人头区域。 9.根据权利要求1或8所述的一种基于深度相机的人数进出实时计数方法， 其特征在 于： 在所述 步骤S10中， 如果 集合Sp某个元 素已经被 计数， 则删除该元素。 10.一种基于深度相机的人数进出实时计数系统， 采用如权利要求1～9任一项所述的 方法进行 人数进出实时计数工作， 包括： 图像扫描模块， 用于对于深度图的每一帧， 按设定扫描步长Nstep扫描此帧， 获得像素 点集合Sp； 点集划分模块， 用于将集合Sp内像素点的深度值与前帧的最矮人头位置当前值H g进行 比较， 大于 Hg的像素点存 入地面集Sgp， 小于 Hg的像素点存 入非地面集Shp； 二值化模块， 用于 从地面集Sgp中取第pg百分位数， 其中pg取85～95， 然后减去最矮人头 高度常数Cmh,得到下一帧的最矮人头位置当前值Hg； 从非地面集Shp中取第ph百分位数Hh，权　利　要　求　书 2/3 页 3 CN 114882404 A 3