(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362102.2 (22)申请日 2022.04.07 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 史徐睿　戚伟　蔡晓伟　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林松海 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于改进YOLO模型的轻型室内火灾识 别方法 (57)摘要 本发明公开了一种基于改进YOLO模型的轻 型室内火灾识别方法， 包 括： 改进backbone部分， 引入采用CSP模块； 引入Ghost  Module； 引入 Ghost Bottlenecks， 来代替瓶颈结构里面 的普 通卷积； 在原YOLO模型基础上， 使用GhostNet提 取出三个有效特征层， 利用这三个有效特征层替 换原来YOLO主干网络CSPdarknet53的有效特征 层； 经过主干网络生成特征图后， 在特征图进行 特征聚合 之前， CSPDarkNet 53将输出特征图发送 到SPP块以融合感受野并进行特征提取； 输入图 像经过主干网后， 特征图被转换为语义特征或学 习特征； 获得火焰数据集后进行筛选； 对算法权 重文件进行编译生成可执行文件， 导入嵌入式芯 片。 本发明简化算法结构， 降低运行成本， 使得模 型能够在价格低廉的嵌入式设备中流畅运行， 完 成对火灾的实时监控效果。 权利要求书2页 说明书7页 附图2页 CN 114821466 A 2022.07.29 CN 114821466 A 1.一种基于改进YOLO模型的轻 型室内火灾识别方法， 其特 征在于， 包括： 1） 改进backbone部分， 引入采用CSP模块， 原YOLO的主干网DarkNet53包含四次下采样 和五组残差块， 每个残差块包含2层卷积层， 且 卷积层重复的次数分别为 1、 2、 8、 8、 4次； 采用 CSP模块 （Cro ss Stage Partial Network， 交叉阶段部分连接） 是将所有的输入数据分为两 次处理， 第一次直接通过1 ×1的卷积核， 第二次在1 ×1的卷积核之后保留Dar knet53的残差 模块， 1×1的卷积核起到下采样的作用， 进一 步精简输入神经网络的数据量； 2） 引入Ghost  Module， 针对在使用残差模块提取特征图的过程 中， 生成的冗余特征图，   GhostNet使用Ghost  Module 模块进行处理， 该模块将普通卷积分为两部分， 首先进行一个 常规的1×1少量卷积， 生 成输入特征层的特征浓缩， 然后再进 行深度可分离逐层卷积， 利用 上一步获得的特 征浓缩生成Ghost特 征图； 3） 引入Ghost  Bottlenecks， 来代替瓶颈结构里面的普通卷积,Ghost  Bottlenecks分 为两个部分， 分别是主干部分和残差边部分， 包含Ghost  Module的， 称为主干部分； Ghost   Bottlenecks有两个种类， 当需要对特征层的宽高进行压缩的时候， 设置这个Ghost   Bottlenecks的Stride=2， 即步长为2， 此时会在Bottlenecks里面多添加一些卷积层， 在主 干部分里， 在两个 Ghost Module中添加一个步长为2 ×2的深度可分离卷积进行特征层的宽 高压缩， 在残差边部分， 添加上一个步长为2 ×2的深度可分离卷积和1 ×1的普通卷积； 4） 当一张图片输入到GhostNet当中时， 首先进行一个16通道的普通1 ×1卷积块， 即卷 积+标准化+激活函数， 之后开始Gho st Bottleneck s的堆叠， 利用Ghost  Bottleneck s， 获得 了一个7×7×160的特征层， 然后利用一个1 ×1的卷积块进 行通道数的调整， 此时获得一个 7×7×960的特征层， 之后进 行一次全局平均池化， 然后再利用一个1 ×1的卷积块进行通道 数的调整， 获得一个1 ×1×1280的特 征层， 然后平铺后进行全连接进行分类； 5） 在原YOLO模型基础上， 使用GhostNet提取出三个有效特征层， 利用这三个有效特征 层替换原来YOLO主干网络 CSPdarknet53的有效特 征层； 6） 经过主干网络生成特征图后， 在特征图进行特征聚合之前， CSPDarkNet53将输出特 征图发送到SPP(Spatial  Pyramid Pooling， 空间金字塔池化)块以融合感受野并进行特征 提取， 之后， 输入特征图并按不同比例合并， 并使用padding  来保持输出特征图的大小不 变， 避免丢失重要特 征； 7） 然后输入图像经过主干网后， 特征图被转换为语义特征或学习特征； 为了保留细粒 度特征， 增加了FPNet （Feature  Pyramid Network， 特征金字塔网络） 架构， FPNet架构采用 自上而下的路径来传递学习特征， 然后将高层语义信息与 底层的细粒度特征联合， PA Net在 FPNet旁添加了自下而上的增 加路径， 进一 步吸收底层定位特 征， 简化了信息流； 8） 最终生成53 ×52， 26×26以及13 ×13三种不同大小的检测框分别对应小、 中、 大三种 不同的感受野， 用来检测不同尺度的目标； 9） 获得火焰 数据集， 并对火焰 数据集进行筛选， 使用LabelImg进行框图标注， 创建自己 的火焰数据集， 然后采用服 务器对数据集进行训练， 并获得改进后的算法权 重文件； 10） 对算法权 重文件进行编译生成可 执行文件， 导入嵌入式芯片。 2.根据权利要求1所述的方法， 其特征在于， 步骤10） 所述的嵌入式芯片为瑞芯微 rk1126， 包含摄像头， 使用摄 像头采集实时图像， 实现实时火灾 监控。 3.根据权利要求1所述的方法， 其特征在于， 步骤10） 进一步采用有线或者无线方式连权　利　要　求　书 1/2 页 2 CN 114821466 A 2接终端， 通过视频流格式进行远程 监控。 4.根据权利要求1所述的方法， 其特征在于， 所述的特征主干网络替换， 所述步骤2） 中 生成冗余特征图， 假设输入数据 ， 其中c是输入数据的通道数， h和w分别是输 入数据的高和宽， 某一卷积层生成n个特 征图的操作如式： 是n通道的输出特征图， 是该层的卷积滤波器， h’和 w’ 分别是输出 数据的高与宽， k×k是卷积过滤器内核大小； m个内蕴特 征图 通过基础的卷积生成， 公式如下： 是一个已使用过的过滤器， 并且认为偏置项忽略不计， 让卷积 核、 步长、 填充超参数和原始的卷积一样使得空间尺寸和输出特征图保持一致， 为了获得期 望的n个特征图， 在内蕴特征图的基础上根据下式使用计算量较小的线性运算来生成s个幻 影特征： y’是Y’上第i个内蕴特征图， 是生成第j个幻 影特征图 yij的第j次线性运算； 获得n =m×n个特征图 作为Ghost模块的输出信息 。 5.根据权利要求1所述的方法， 其特征在于， 步骤9） 所述的火灾数据集， 对网上收集的 类别混乱、 像素不统一、 质量有参差的图片， 经过筛选与标注， 形成一个针对于城市火灾的 高质量火灾数据集。权　利　要　求　书 2/2 页 3 CN 114821466 A 3