(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544836.2 (22)申请日 2022.05.19 (71)申请人 湖州市特种设备检测研究院 （湖州 市电梯应急救援指挥中心） 地址 313000 浙江省湖州市仁 皇山区安吉 路299号 申请人 中科卫星应用德清研究院 　 中国科学院微电子 研究所 (72)发明人 陈本瑶　司绍峰　俞平　戎安心　 阮利程　冯达　陈辉　冯建平　 滕启治　李郑明　李庆　柴旭锋　 (74)专利代理 机构 石家庄隆康知识产权代理事 务所(普通 合伙) 13140 专利代理师 马家亮(51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) B66B 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的电梯轿厢内乘客行为 识别方法 (57)摘要 本发明提供一种基于深度学习的电梯轿厢 内乘客行为识别方法。 所述基于深度学习的电梯 轿厢内乘客行为识别方法， 包括以下操作步骤： S1、 获取电梯轿厢内原始监控视频数据， 对有乘 客部分进行筛选和划分， 得到包含四种不文明行 为和不包含不文明行为的视频段。 本发明提供一 种基于深度学习的电梯轿厢内乘客行为识别方 法， 能够有效地对电梯轿厢内乘 客的行为进行分 析， 同时相比于双流法和3D卷积， 在计算量上具 有较大优势， 通过引入特征通道时域平移模块， 在不增加任何训练参数的情况下使得2D卷积具 备处理视频数据的能力， 在保持较小计算量的前 提下， 完成当前帧特征与前后帧特征的信息融 合， 通过2D卷积网络同时提取时空信息用于最终 的分类。 权利要求书2页 说明书12页 附图2页 CN 115376202 A 2022.11.22 CN 115376202 A 1.一种基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 包括以下操作步 骤： S1、 获取电梯轿厢内原始监控视频数据， 对有乘客部分进行筛选和划分， 得到包含四种 不文明行为和不包 含不文明行为的视频 段， 再经过抽帧等预处 理得到训练样本； S2、 构建行为识别网络， 网络主体为以改进的二维卷积神经网络ResNet50作为骨干网 络， 并且在所述骨干网络中的残差结构 中插入提出 的特征通道 时域平移模块， 所述骨干网 络用于提取视频中乘 客行为的单帧静态特征， 所述特征通道时域平移模块插入在每一个残 差模块的残差 分支上， 其通过将上一帧同位置残差单元得到的特征图按一定比例平移到当 前特征图中， 用来捕捉帧与帧之间的时序特 征； S3、 对搭建好的神经网络在大型行为识别数据集上做预训练， 再在电梯数据集上做微 调， 得到训练好的乘客行为识别网络模型； S4、 获取待检测的电梯监控视频， 并进行预处理， 将处理后的待识别监控视频作为输入 到训练得到的模型中， 输出行为分类结果， 根据分类结果判断电梯轿厢内是否出现不文明 行为。 优选的， 所述S1中建立电梯轿厢内行为识别模拟数据集， 步骤 包括： S11、 获取含多个模拟乘客行为视频片段， 分别 对应打闹、 跳跃、 扒门、 踹门和正常5个行 为类别； S12、 对包含各类行为的视频片段采用抽帧的方式的得到连续的RGB帧序列； S13、 将RGB帧序列图像短边缩放到256大小上， 接着随机裁剪并缩放到224像素*224像 素大小上， 在水平方向上以0.5的概 率对图像进行翻转； S14、 将所有训练样本按预设比例划分为训练集和 测试集， 得到模拟数据集。 2.根据权利要求1所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述S2中， 在以视频行为识别网络以改进的ResNet50作为骨干网络， 其主要包含4个阶段， 50个卷积层的ResNet网络 。 3.根据权利要求2所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述S2中特征通道时域平移模块插入在骨干网络所有的残差模块的残差 分支上， 该平移模 块将输入特征图在通道维度上， 缓存1/8比例通道数的特征图到内存中， 同时将该部 分特征 图用前一帧相同位置的残差模块缓存的特征图进行平移替换， 经过残差模块的卷积层、 池 化层和激活层处 理后， 完成每一个残差模块的当前帧与之前帧的时空特 征提取。 4.根据权利要求1所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述所述S3中， 对网络模型在大 型数据集上进行 预训练， 其 步骤包括： S31、 在公共视频数据集kinetics400和UCF101中使用较大的学习率对网络训练迭代 100次； S32、 利用预训练得到的参数对网络进行初始化。 5.根据权利要求1所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述所述S 3中， 在模拟数据集上使用较小的学习率， 一半的迭代轮次对网络进 行训练， 其过 程包括： a、 对于每一个输入的训练样本， 骨干网络得到多帧的时空特征， 分类器将多帧时空特 征进行平均， 得到视频级特征， 再经过全连接层， 使用softmax激活函数得到分类结果，权　利　要　求　书 1/2 页 2 CN 115376202 A 2softmax激活函数的公式如下： 其中i和j分别是全连接层第i， j个通道的输出， m为总的行为类别数， Si为第i个类别的 激活值， 即预测为该类别的概 率； b、 使用标签平滑对分类器层进行正则化， 通过在one ‑hot编码中真实类别的1上减去一 个小量， 非真实标签的0上加上一个小量， 将 硬标签变成软标签， 达到正则化的作用， 防止过 拟合； c、 所述分类 器网络模型采用交叉熵损失函数作为目标函数， 其计算公式为： 其中n为视频样本总数， xi为第i个视频样本， yi为样本xi对应的行为类别， fθ(xi)为网络 输出的预测样本类别为yi的概率； d、 训练过程使用梯度下降算法优化损失函数， 并使用余弦退火策略调整学习率， 同时 使用Warm ‑up策略， 平 滑网络收敛 过程， 学习率调整策略公式为： 其中Lr0和Lrt分别为初始学习率和第t个迭代轮次 时的学习率， T为训练总迭代轮次数。 6.根据权利要求1所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述S4中， 网络 输出分类结果包括： S41、 对包含各类行为的视频片段等间隔划分并随机抽帧得到8帧连续的RGB帧序列； S42、 将RGB帧序列图像短边缩放到256大小上， 接着随机裁剪并缩放到224像素*224像 素大小上， 在水平方向上以0.5的概 率对图像进行翻转； S43、 将多帧时空特征进行平均， 得到的视频级特征再通过softmax激活函数得到每个 类别的得分， 选择 得分最高的类别作为视频 行为分类结果。 7.根据权利要求1所述的基于深度学习的电梯轿厢内乘客行为识别方法， 其特征在于， 所述S1中采集电梯轿厢内乘客的四种异常行为分别为打架、 扒门、 踹门以及跳跃， 录像 设备 为电梯轿厢内置摄像头， 视频分辨率为720*480， 帧率为30帧每秒， 从所有的视频数据中随 机采样70％作为训练集， 接着在剩余样本中随机采样10％用作验证集， 最终剩余的10％样 本用作测试集， 完成训练集、 验证集和 测试集的划分。权　利　要　求　书 2/2 页 3 CN 115376202 A 3