(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556558.2 (22)申请日 2022.05.20 (71)申请人 河海大学 地址 210000 江苏省南京市江宁区佛城西 路8号 (72)发明人 田昶　潘宇航　黄柏翰　 (74)专利代理 机构 南京千语知识产权代理事务 所(普通合伙) 32394 专利代理师 祁文彦 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G08B 21/02(2006.01) G08B 25/08(2006.01) (54)发明名称 一种基于深度学习的婴幼儿监护系统及搭 建方法 (57)摘要 本发明公开了一种基于深度学习的婴幼儿 监护系统及搭建方法， 本发明采集多个场景环境 下的婴儿图像数据， 在 “边验证， 边训练 ”的模式 下训练出高鲁棒性的YOL OV3模型， 能在较复杂的 环境准确定位婴儿头部与主体的位置， 能与小程 序通信传输视频数据与电子围栏数据以及报警 提示。 用户可 以自定义虚拟的围栏边界， 通过检 测主体是否逾越虚拟边界来进行提示报警， 降低 事故的可能性， 同时报警具有高可靠性， 可有效 缓解家长们的频繁收到提示的焦虑。 本发明所述 监护系统能准确、 针对性的对婴幼儿活动进行监 护， 且不受夜晚环境、 成人陪护场景干扰。 本发明 所述监护系统是用较为轻量的网络检测婴儿坐 标， 直接进行是否越界的判断， 更符合嵌入式的 算力以及更好的泛用性。 权利要求书2页 说明书5页 附图8页 CN 115187888 A 2022.10.14 CN 115187888 A 1.一种基于深度 学习的婴幼儿监护系统， 其特征在于， 包括用户端、 家庭监控摄像头和 服务器， 用户端安装小程序， 用户能在小程序中实时查看摄像头传输的视频并设置电子 围 栏的区域， 家庭监控摄像头有多个， 分别设置在婴幼儿活动区域， 服务器中安装有 Hi3516DV300开发板， 开发板中存储YOLOV3模 型和相应代码； 家庭监控摄像头实时将监控视 频传输至服务器中， 服务器根据用户设置的电子 围栏的区域， 判断婴幼儿是否超出电子 围 栏的区域， 如果超出， 会向用户端发送短信消息提醒。 2.一种基于权利要求1所述基于深度 学习的婴幼儿监护系统 的搭建方法， 其特征在于， 包括如下步骤： 步骤1： 选取多个场景， 使用悬挂式摄 像头或手机 录像装置进行婴儿视频 数据采集； 步骤2： 对步骤1采集到视频数据进行帧截取和筛选， 人为对数据集中每个图像的婴儿 头部和身体部位进行框 选标注， 并对标注后的数据集进行划分， 划分为训练集与验证集； 步骤3： 将步骤2中的训练集与验证集放入Pytorch平台搭建的YOLOV3网络分别进行训 练与验证； 步骤4： 将训练后得到的模型进行测试， 观察模型表现， 分析缺陷原因， 有针对性的增添 数据集； 步骤5： 将步骤4得到 的具有较高鲁棒性的Pytorch模型进行模型转换， 转换为caffe模 型； 步骤6： 将步骤5得到的浮点数的yolov3.caffemodel进行INT8量化， 生成硬件可使用的 wk文件， 并验证模型精度， 将模型和相应代码导入Hi3 516DV300开发板中； 步骤7： 搭建服 务器， 在Hi3 516DV300中编写短信发送程序； 步骤8： 开发小程序与服务器连接， 通过服务器与Hi3516DV300通信， 传输实时视频数 据， 且客户能在小程序设置电子围栏的区域； 步骤9、 模型 预测的后处 理以及判断越界， 短信报警。 3.根据权利要求2所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 步骤1所述场景包括： 白天婴儿床场景、 白天客厅场景、 白天户外场景、 夜晚婴儿床场景 和幼儿佩戴口罩场景。 4.根据权利要求3所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 所述步骤2具体包括： 使用ffmpeg工具对视频数据进行帧截 取， 设置为 1秒截取1帧， 筛选 截取得到的图片， 若图片出现无婴儿目标、 图片模糊、 邻近图像变化不大或人为难以判定的 情况， 则删去， 其他图片保留作为数据集； 使用lab elimg工具对图片进行框选标注， 标注目 标有两个， 婴儿头部与婴儿全身； 标注完毕后， 将数据集按照9:1的比例划分训练集和验证 集。 5.根据权利要求4所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 所述步骤3具体包括： 设置图像传 入的大小为4 16×416， 指定冻结训练50轮次， 解冻训练 150轮次。 6.根据权利要求5所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 所述步骤4具体包括： 将训练生成的模型运用在上述不同环境下进行检测， 若在某一环 境下表现不佳， 则增大 该环境的数据集， 再次训练， 重复多次。 7.根据权利要求6所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115187888 A 2于， 所述步骤5具体包括： 将步骤4训练好的pth文件和模型运用export方法生成onnx模型， 再在Ubuntu配置好的环境下用onnx2caffe工具包将其转化生成YOLOV3.caffemodel与 YOLOV3.prototxt。 8.根据权利要求7所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 所述步骤6 具体包括： 将步骤5转化出的caffemodel文件与cfg文件置入RuyiStudio中量 化成uint模型， 生成Hi3516DV300硬件所需的wk文件， 测试模型精度,精度下降小于0.5％， 即在容许 范围内， 将程序烧 入开发板中。 9.根据权利要求8所述的一种基于深度学习的婴幼儿监护系统的搭建方法， 其特征在 于， 所述步骤8具体包括： 将mqtt.js文件导入微信小程序， 使其支持mqtt连接与服务， 小程 序分为两个界面， 网络连接界面与电子 围栏设置界面， 网络连接界面支持一键连接对应服 务器， 实时查看视频， 电子围栏设置界面支持用户缩放和拖动蒙布进 行区域选取， 点击确认 键即可向服 务器发送修改后的数据。 10.根据权利要求9所述的一种基于深度学习的婴幼 儿监护系统 的搭建方法， 其特征在 于， 所述步骤9具体包括： 用C语 言编写YOLOV3网络的非极大值抑制处理算法， 得到最 终的输 出中心坐标与对应框的类型， 采用中位值滤波算法， 得到可信的坐标与类型， 将坐标与用户 划定的边界进行对比， 若不在用户划定的虚拟电子围栏范围内， 则本地的Hi3516DV300设备 判定到婴儿离开电子围栏， 会及时向用户发起短信消息提醒， 实现监护。权　利　要　求　书 2/2 页 3 CN 115187888 A 3