(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210480478.3 (22)申请日 2022.05.05 (65)同一申请的已公布的文献号 申请公布号 CN 114821476 A (43)申请公布日 2022.07.29 (73)专利权人 北京容联易 通信息技 术有限公司 地址 100000 北京市朝阳区广顺北 大街33 号院1号楼13层一单 元1601室 (72)发明人 刘佳宁　曾国卿　许志强　孙昌勋　 朱新潮　李威　杨坤　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 郑延斌 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 110909703 A,2020.0 3.24 CN 110909703 A,2020.0 3.24 CN 112560759 A,2021.0 3.26 US 1025743 6 B1,2019.04.09 CN 110717448 A,2020.01.21 CN 112507892 A,2021.0 3.16 CN 110889367 A,2020.0 3.17 CN 113392715 A,2021.09.14 CN 113628172 A,2021.1 1.09 孙宝聪.基于图像检测的机场人员异常行为 分析技术研究. 《数字通信世界》 .2020,(第01 期), 陆游飞等.一种结合图像信息的视频行 人检 测网络研究. 《杭州电子科技大 学学报(自然科 学 版)》 .2018,(第0 3期), 审查员 唐婷婷 (54)发明名称 一种基于深度学习检测的明厨亮灶智能监 控方法及系统 (57)摘要 本发明提供了一种基于深度学习检测的明 厨亮灶智能监控方法及系统， 其方法包括： 基于 目标现场视频流获取视频数据， 对视频数据进行 数据分析确定神经网络结构； 基于神经网络结构 针对性设计目标神经网络， 基于目标神经网络对 视频数据进行模型训练， 生成目标模型， 并将视 频数据输入至目标模型中进行监控； 将监控结果 进行显示， 并发出实时预警以及预警原因。 通过 目标模型实现对视频数据的监控， 并基于监控结 果进行显示并实时预警， 不仅实现了对厨师服、 厨师帽的穿戴情况， 人员玩手机、 抽烟等行为， 垃 圾桶乱摆放、 垃圾桶未盖盖、 垃圾溢满、 垃圾乱放 等不卫生情况的监控的精确性与智能性， 而且通 过实时报警与确定预警原因， 有利于客户及时掌握厨房的情况。 权利要求书3页 说明书11页 附图2页 CN 114821476 B 2022.11.22 CN 114821476 B 1.一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 包括： 步骤1： 基于目标现场视频流获取视频数据， 同时， 对所述视频数据进行数据分析确定 神经网络结构； 步骤2： 基于所述神经网络结构针对性设计目标神经网络， 并基于所述目标神经网络对 所述视频数据进行模型训练， 生成目标模型， 并将所述视频数据输入至所述 目标模型中进 行监控； 步骤3： 将监控结果进行显示， 并发出实时预警以及预警原因； 步骤2中， 生成目标模型之后并在将所述视频数据输入至所述目标模型中进行监控之 前， 还包括： 读取视频检测点， 确定所述视频检测点的检测特征， 并根据所述检测特征确定对所述 视频数据的分类标签； 将所述视频数据基于所述分类标签进行聚类， 确定子视频数据区块， 其中， 所述子视频 数据区块中包 含同一个 检测特征的多个视频 数据； 基于所述视频检测点确定样本检测数据， 并将所述样本检测数据作为校验码输入至所 述子视频数据区块中进行 数据校验； 根据校验结果， 确定在所述子视频数据区块中与所述校验码不相符的视频数据， 并将 与所述校验码不相符的视频 数据作为无关数据； 对所述无关数据进行 数据打包， 生成无关数据集； 确定所述无关数据集中的无关数据的数据属性， 并将所述数据属性与 所述视频检测点 的检测特 征进行匹配， 判断所述无关数据集中的无关数据是否存在有效数据； 当存在所述数据属性与所述视频检测点的检测特征相匹配时， 则判定所述无关数据集 中存在有效数据， 并将所述无关数据集中的有效数据进行 标记； 基于标记结果将所述有 效数据进行提取， 并存放于与 所述视频检测点的检测特征相一 致的子视频数据区块中， 同时， 将所述无关数据集中剩余的无效数据进 行清洗， 基于清洗结 果生成准确子 视频数据区块； 否则， 则判定所述无关数据集中不存在有效数据， 并将所述无关数据集进行剔除。 2.根据权利要求1所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 步骤1中， 基于目标现场视频流 获取视频数据， 同时， 对所述视频数据进 行分析确定 神经网络结构的工作过程， 包括： 读取所述目标现场视频流， 并基于预设服务器收集所述目标现场视频流对应的视频数 据； 根据目标程序在网上提取与所述视频 数据相关的数据模型； 对所述视频数据进行清洗， 并将清洗后的所述视频数据通过所述数据模型进行分析， 并基于分析 结果确定神经网络结构。 3.根据权利要求1所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 步骤2中， 基于所述目标神经网络对所述视频数据进行模型训练， 生成目标模型 的 工作过程， 包括： 获取目标客户的场景需求； 基于所述视频数据以及所述目标客户的场景需求确定目标神经网络， 同时， 对所述视权　利　要　求　书 1/3 页 2 CN 114821476 B 2频数据进行 数据标注； 基于标注后的所述视频数据对所述目标神经网络进行针对性改造调优， 并基于调优后 的所述目标神经网络针对所述目标客户的场景需求进行模型训练； 根据训练结果 生成所述目标模型。 4.根据权利要求1所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 步骤2中， 所述目标模型包括： 物体检测模型、 垃圾桶属性分类模型以及动作预测模 型， 将所述 目标现场视频流对应的视频数据输入至所述物体检测模型、 垃圾桶属 性分类模 型以及所述动作预测模型中， 实现对明厨亮灶进行智能监控。 5.根据权利要求4所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 对所述明厨亮灶进行智能监控的过程， 包括： 对所述目标现场视频流进行读取， 确定当前帧对应的视频图像， 并读取人体在所述当 前帧对应的视频图像中的区域范围； 根据所述 区域范围对所述当前帧对应的视频图像进行剪切， 并基于剪切结果确定目标 图像； 对所述目标图像中的人体特征进行增强处理， 同时， 去除所述目标图像的背景干扰， 获 得处理图像； 对所述处理图像进行读取， 确定所述人体的特征骨骼点， 并基于所述人体的特征骨骼 点确定目标 人员； 基于监控 装置对所述目标 人员进行动态追踪， 确定所述目标 人员的活动帧信息； 当所述监控装置收集到的所述目标人员的活动帧信 息满足预设 帧数时， 将所述目标人 员的特征骨骼点以及所述活动帧信息 输入至所述动作预测模型中， 进行动作预测； 基于预测结果确定所述目标 人员的当前动作。 6.根据权利要求4所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 对所述明厨亮灶进行智能监控的过程， 还 包括： 将所述视频 数据输入至所述物体 检测模型中进行静态检测识别， 并确定识别结果； 基于所述识别结果确定目标现场的静态厨师帽与静态厨师服， 并根据 所述识别结果对 目标识别区域进 行交互计算， 并基于计算结果确定所述静态厨师帽与所述静态厨师服所对 应的目标厨师； 将所述目标厨师基于所述目标现场视频流中的活动区域进行记录， 并根据时间帧顺序 确定记录图像集； 根据预设算法， 并利用目标特性确定在所述记录 图像集中的误识别图像， 并将所述误 识别图像进行 过滤， 确定过 滤图像集； 基于所述过滤图像集， 依次将当前帧的过滤图像所对应的目标厨师的活动区域与将上 一帧的过 滤图像所对应的目标厨师的活动区域进行相似度匹配； 根据相似度匹配结果确定所述目标厨师对所述厨师服与厨师帽的穿戴情况。 7.根据权利要求4所述的一种基于深度学习目标检测的明厨亮灶智能监控方法， 其特 征在于， 对所述明厨亮灶进行智能监控的过程， 还 包括： 获取目标现场的视频画面， 并基于目标客户的客户需求对所述视频画面进行划分， 确 定垃圾桶区域以及敏感区域；权　利　要　求　书 2/3 页 3 CN 114821476 B 3