(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210379735.4 (22)申请日 2022.04.12 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 颜晓红　王天宇　郝学元　张诚超　 王伟杰　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/10(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06Q 10/02(2012.01) G06Q 50/26(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/9537(2019.01) G06F 16/9538(2019.01) G08B 5/22(2006.01) (54)发明名称 一种基于人脸检测的智慧图书馆人流量监 测方法及装置 (57)摘要 本发明公开了一种基于人脸检测的智慧图 书馆人流量监测方法及装置。 包括图像采集模 块、 人脸检测模块、 智慧互联模块、 实时显示模 块。 其中人脸检测模块基于MTCNN人脸检测模型， 增加BN层以加快网络收敛速度； 引入深度可分离 卷积， 大大减少原有网络的参数量， 提高推理速 度， 使训练好的模型可以部署在嵌入式设备上， 实现实时人脸检测； 使用Soft ‑NMS来保留置信 度 较高的人脸检测框， 提高检测的准确度。 本发明 大大提高了疫情期间图书馆管理的效率与安全 性， 同时也极大提升了读者的阅读舒适度， 使得 图书馆管理更加智慧便捷。 权利要求书2页 说明书6页 附图4页 CN 114708554 A 2022.07.05 CN 114708554 A 1.一种基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 通过摄像头采集实 时的自习室图像， 采用不同大小的核在图像上滑动， 进行预处理， 通过预先训练好的MTCNN 神经网络进行人脸检测， 保留高置信度的人脸检测框， 同时根据检测到的人脸检测框来确 定实时的自习室人数并进行统计， 将自习室实时座位余量显示在电子屏幕上， 当数量低于 预设的阈值时， 提 示读者前往仍有座 位余量的自习室； 所述人脸检测包括， 将图像送入MTCNN人脸检测神经网络后， 对送入的图片做旋转和缩 放， 生成图像金字塔， 将图像金字塔传入MTCNN的第一级网络P ‑net结构中， P ‑net检测人脸 不考虑置信度， 生成目标候选框， 将这些目标候选框传入下一级网络R ‑net进行人脸识别； R‑net对P‑net网络传入的含有人脸图像的检测框进 行置信度评 分， 删除低于预设的置信度 阈值的人脸检测 框， 通过IOU计算这些 目标检测 框之间的契合度， 采用柔性非极大值Soft ‑ NMS去除P ‑net传入的重复的检测框， 对剩下的人脸检测框进行裁剪缩放， 输入到下一级O ‑ net网络， 再一次用Soft ‑NMS去除重复的人脸检测框， 并通过传 入的目标区域坐标计算该目 标区域在原始图像中的位置， 同时在原图像中用矩形框标记出来， 即最终的检测出 的人脸 检测框。 2.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 所述 预处理过程， 包括对图像进行裁剪； 对裁剪后的图像做图像增强， 采用空间域的点运算算法 增加图像对比度， 对图像上的像素点进行运 算。 3.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 对所 述MTCNN神经网络进行优化， 在MTCNN三个级联网络中的卷积层和relu层中添加BN层， 加快 网络的收敛速度， 同时引入深度可分离卷积来减少参数计算 量。 4.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 所述 的检测系统采用人脸检测框坐标定位的方法来计算某一个座位的使用时间， 所述方法为， 当检测到座位上出现人脸时， 给ID赋值， 并记录初始的时间， 与上一帧检测的图像相比， 当 相同的初始坐标的人脸框的坐标变化时， 当坐标变化的幅度大于一定的阈值时， 判定该读 者是否离开座位， 记录此刻的时间。 来计算该座 位的使用时间。 5.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 所述 座位余量的判断采用坐标变换度算法， 通过前后帧的图像中人脸检测框的坐标变换度， 来 判断读者是否进 去自习室或者是否 离开座位。 6.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 所述 方法还包括将实时的人流量信息发送至图书馆门禁管理平台， 当人数已经达到设定值时， 暂时停止读者进入。 7.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法， 其特征在于： 所述 方法还包括将图书馆实时人流量检测与在线自习室座位预约相结合， 包括根据实时的检测 人数， 在线显示 座位余量， 供读者 查看和预约座 位。 8.一种基于人脸检测的智慧图书馆人流量监测装置， 其特征在于， 包括： 图像采集模 块、 检测模块、 信息交 互模块， 以及摄 像头、 处理器、 存储器和电子 显示屏； 所述图像采集模块， 用于获取实时的图书馆自习室的摄 像头采集到的图像； 所述检测模块， 用于根据图像画面内容检测人脸区域， 通过预训练好的MTCNN人脸检测 模型对所述图书馆自习室内实时采集的图像进行人脸检测， 得到人脸检测框； 其中所述权　利　要　求　书 1/2 页 2 CN 114708554 A 2MTCNN人脸检测算法引入了深度可分离卷积， 减少网络的层数和参数量， 并且通过Soft ‑NMS 来保留置信度较高的人脸检测框； 所述信息交互模块， 用于与在线自习室预约模块相结合， 通过数据整合， 显示图书馆自 习室实时的座 位余量； 所述摄像头用来获取图书馆自习室实时的图像； 所述处理器用来 运行人脸检测模型， 以及算法； 所述存储器用来保存预训练好的模型参数， 以及图像信息； 所述电子显示屏用来将实时检测的人脸框个数以及按照要求设定的自习室所剩座位 余量。权　利　要　求　书 2/2 页 3 CN 114708554 A 3