(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210418555.2 (22)申请日 2022.04.20 (65)同一申请的已公布的文献号 申请公布号 CN 114783059 A (43)申请公布日 2022.07.22 (73)专利权人 浙江东昊信息 工程有限公司 地址 314500 浙江省嘉兴 市桐乡市梧桐街 道世纪大道1968-1872号 (72)发明人 周海　倪旭东　 (74)专利代理 机构 嘉兴倍创专利代理事务所 (普通合伙) 33395 专利代理师 吉兴祥 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01)G06N 20/00(2019.01) G06V 10/25(2022.01) (56)对比文件 CN 111144165 A,2020.0 5.12 CN 113111733 A,2021.07.13 审查员 赵会玲 (54)发明名称 一种基于深度相机的寺庙香客参拜管理方 法和系统 (57)摘要 本发明涉及一种基于深度相机的寺庙香客 参拜管理方法和系统， 包括以下步骤： S1： 通过深 度相机监测是否有对佛像正在参拜的参拜人员， 若是， 则执行步骤S2； S2： 对监测到的参拜人员进 行定位， 划定感兴趣区域； S3： 获取连续多帧图 像， 对感兴趣区域进行特征提取和动作识别， 得 到该参拜人员的参拜方式数据； S4： 通过深度相 机监测该定位的参拜人员是否离开， 若是， 则获 取该参拜人员的参拜时间数据， 否则继续执行步 骤S3， 与现有技术相比， 本发明具有方便寺庙管 理、 实时性高等优点。 权利要求书2页 说明书5页 附图2页 CN 114783059 B 2022.10.25 CN 114783059 B 1.一种基于深度相机的寺庙香 客参拜管理方法， 其特 征在于， 包括以下步骤： S1： 通过深度相机监测是否有对佛像正在参拜的参拜人员， 若是， 则执 行步骤S2； S2： 对监测到的参拜人员进行定位， 划定感兴趣区域； S3： 获取连续多帧图像， 对感兴趣区域进行特征提取和动作识别， 得到该参拜人员的参 拜方式数据； S4： 通过深度相机监测该定位的参拜人员是否离开， 若是， 则获取该参拜人员的参拜时 间数据， 否则继续执 行步骤S3； 步骤S3具体包括： S31： 分别提取连续多帧图像 中感兴趣区域的人体关节点以及关节点位置关系， 得到第 一姿态特 征和第二姿态特 征； S32： 将连续多帧图像 中的人体关节点以及关节点位置关系进行组合， 得到第三姿态特 征； S33： 根据第一姿态特征、 第二姿态特征和第三姿态特征， 通过机器学习分类， 得到动作 类型， 获得参拜方式数据； 所述的人体关节点包括头部中心点、 肩部关节点、 肘部关节点、 手腕关节点、 臀部中心 点、 膝部关节点和脚腕关节点； 所述的第一姿态特征包括站立姿态特征和跪坐姿态特征， 通过臀部中心点、 膝部关节 点和脚腕关节点的位置关系获得， 所述的第二姿态特征包括礼拜姿态特征和垂落姿态特 征， 通过肘部关节点和手腕关节点的位置关系获得， 所述的第三姿态特征包括直挺姿态特 征和俯仰姿态特征， 通过连续多帧图像中头部中心 点和肩部关节点的位置 关系以及位移情 况获得； 当膝部关节点与脚腕关节点位于同一水平位置范围内， 或臀部中心点与脚腕关节点位 于同一水平位置范围内时， 判断第一姿态特征为跪坐姿态特征， 否则判断第一姿态特征为 站立姿态特 征； 当手腕关节点的高度高于肘部关节点时， 判断第二姿态特征为礼拜姿态特征， 否则判 断第二姿态特 征为垂落姿态特 征； 当连续多帧图像中头部中心点和肩部关节点的高度变化次数超过一次且高度变化数 值超过设定范围阈值时， 判断第三姿态特征为俯仰姿态特征， 否则判断第三姿态特征为直 挺姿态特 征； 所述的动作类型由第一姿态特征、 第二姿态特征和第三姿态特征组合而成， 共8种， 包 括站立‑礼拜‑直挺类型、 站立 ‑礼拜‑俯仰类型、 站立 ‑垂落‑直挺类型、 站立 ‑垂落‑俯仰类 型、 跪坐‑礼拜‑直挺类型、 跪坐 ‑礼拜‑俯仰类型、 跪坐 ‑垂落‑直挺类型、 跪坐 ‑垂落‑俯仰类 型； 当动作类型为站立 ‑垂落‑直挺类型时， 判断该动作为无效参拜方式， 将其从参拜方式 数据中剔除， 并将该参拜人员从 感兴趣区域中剔除。 2.根据权利要求1所述的一种基于深度相机的寺庙香客参拜管理方法， 其特征在于， 步 骤S1中， 所述的通过深度相机监测是否有对佛像正在参拜的参拜人员具体包括以下步骤： S11： 通过深度相机获取平面像素值和距离像素值； S12： 将平面像素值输入机器学习模型进行 人形检测， 划定人 形区域；权　利　要　求　书 1/2 页 2 CN 114783059 B 2S13： 计算人形区域内距离像素值的平均值， 并判断是否在设定距离阈值范围内， 若是， 则执行步骤S14， 否则监测结果 为无对佛像正在参拜的参拜人员， 并返回步骤S1 1； S14： 获取连续N帧图像， 若连续N帧图像 中， 人形区域位置均在设定范围内， 且人形 区域 内距离像素值的平均值也在设定距离阈值范围内， 则监测结果为有对佛像正在参拜的参拜 人员， 否则监测结果 为无对佛像正在参拜的参拜人员， 并返回步骤S1 1。 3.根据权利要求2所述的一种基于深度相机的寺庙香客参拜管理方法， 其特征在于， 步 骤S2中， 所述的感兴趣区域 为人形区域。 4.根据权利要求1所述的一种基于深度相机的寺庙香客参拜管理方法， 其特征在于， 步 骤S4中， 所述的通过深度相机监测该定位的参拜人员是否 离开具体为： 计算人形区域内距离像素值的平均值， 判断是否超出设定距离阈值范围， 若是， 则监测 结果为该定位的参拜人员已经离开， 否则监测结果 为该定位的参拜人员未离开。 5.一种用于实现如权利要求1 ‑4任一项所述的基于深度相机的寺庙香客参拜管理方法 的系统， 其特征在于， 包括相互连接的深度相机和处理器， 所述的深度相机设置多个， 分别 安装于寺庙内各佛像前， 所述的处理器包括参 拜人员检测模块、 特征提取模块、 姿态特征预 分类模块、 动作分类模块和计时模块； 所述的参拜人员检测模块用于监测是否有对佛像正在参拜的参拜人员以及该参拜人 员是否离开； 所述的特征提取模块用于提取连续多帧图像中感兴趣区域的人体关节点以及 关节点位置关系； 所述的姿态特征预分类模块用于得到第一姿态特征、 第二姿态特征和第 三姿态特征； 所述的动作分类模块用于根据第一姿态特征、 第二姿态特征和第三姿态特征 进行动作类型分类； 所述的计时模块用于获取参拜人员参拜时间。权　利　要　求　书 2/2 页 3 CN 114783059 B 3