(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210484070.3 (22)申请日 2022.05.06 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 黄宏伟　傅蕾　张东明　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 专利代理师 叶凤 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01)G06F 16/55(2019.01) (54)发明名称 一种基于深度多任务学习的土压平衡盾构 渣土信息提取方法 (57)摘要 本发明属于土压平衡盾构法隧道施工领域， 涉及一种基于深度多任务学习的土压平衡盾构 渣土信息提取方法。 本发明方法根据出渣土图像 来提取土压平衡盾构掘进过程中的重要施工信 息， 因此首先需要基于施工需求确定待提取的信 息， 并明确各个任务的类型； 接着收集渣土 数据， 并对数据进行挑选及处理得到土压平衡出渣土 多任务识别数据集； 然后根据所需完成的识别任 务构建并训练得到出渣土多任务识别模 型； 最后 输入土压平衡盾构施工时的出渣土监控视频即 可实现渣土的实时识别， 得到施工人员所需的多 方面施工信息。 本发明具有准确、 快速、 泛化性 强、 速度快、 成本低、 方便 应用的特点。 权利要求书2页 说明书10页 附图3页 CN 114973067 A 2022.08.30 CN 114973067 A 1.一种基于深度多任务学习的土压平衡盾构渣土信息提取方法， 其特征在于， 本发明 方法是根据出渣土图像来提取土压平衡盾构掘进过程中的重要施工信息， 因此首先需要基 于施工需求确定待提取的信息， 并明确各个任务的类型； 接着收集渣土数据， 并对数据进 行 挑选及处理得到土压平衡出渣土多任务识别数据集； 然后根据所需完成的识别任务构建 并 训练得到出渣土多任务识别模型； 最后输入土压平衡盾构施工时的出渣土监控视频即可实 现渣土的实时识别， 得到施工人员所需的多方面施工信息 。 2.如权利要求1所述一种基于深度多任务学习的土压平衡盾构渣土信息提取方法， 其 特征在于， 包括如下步骤： 步骤1、 确定渣土图像信息提取任务； 步骤2、 建立多任务渣土图像数据库； 步骤3、 构建多任务渣土识别模型。 3.如权利要求2所述一种基于深度多任务学习的土压平衡盾构渣土信息提取方法， 其 特征在于， 所述 步骤1包括如下步骤： 1.1从渣土图像中获取的施工信息， 包括前方土质类型、 渣土改良情况、 是否出现排渣 异常； 1.2基于步骤1.1信息确定渣土识别 任务， 并明确各任务类型； 所述任务类型包括： 图像 分类、 目标检测、 语义分割 、 实例分割； 1.3确定步骤1.2 识别任务的标注规则。 4.如权利要求2所述一种基于深度多任务学习的土压平衡盾构渣土信息提取方法， 其 特征在于， 所述 步骤2包括如下步骤： 2.1收集应用地区的渣土监控视频； 渣土监控摄像头安装于皮带传送机的正上方或斜 上方位置， 并对准螺旋出土机出土口， 保证拍摄到完整的出渣过程和渣土形态； 在出土口上 方安装照明设备； 2.2收集到 视频数据后对数据进行 预处理， 将稳定出土阶段的有效视频截取 出来； 2.3以每3 0帧一张的频率抽取视频帧； 2.4针对不同识别任务的类型进行图像标注； 包括图像分类任务， 通过图像分类命名或划分文件夹的方式标记图像类别； 包括目标 检测任务， 其对渣土图像进 行手工标注， 用矩形框框出每张图像内需要识别出的目标， 并输 入每个目标框的类别； 包括语义分割和实例分割任务， 其对渣土图像进 行手工标注， 标记出 每张图像内需要分割目标的边界， 并输入每个区域的类别； 因此， 每张图像都必须带有标 签， 里面记录的信息被称为真实值， 该真实值用于提供 给步骤3.3训练过程； 2.5获得的渣土 图片文件及对应的各任务标签文件即为渣土多任务识别的数据集， 划 分训练集、 验证集和 测试集。 5.如权利要求2所述一种基于深度多任务学习的土压平衡盾构渣土信息提取方法， 其 特征在于， 所述 步骤3包括如下步骤： 3.1自定义数据集 3.1.1从数据集存储路径上载入渣土图像数据以及相应的多个任务的标签信息， 分别 保存在列表中 3.1.2对图像数据和标签数据进行处 理和转换权　利　要　求　书 1/2 页 2 CN 114973067 A 2将图像数据从PIL格式转换成形状为(C,H,W)的张量格式， 其中C代表图像通道数， H代 表图片高度， W代 表图片宽度， 并将所有像素值除以25 5归一化到0‑1之间； 3.1.3设置在图像输入网络之前对其进行随机图像增强操作； 3.1.4计算出整个数据集中图片三通道像素值的均值和标准差， 对图片进行标准化处 理， 提供给步骤3.3； 3.2多任务网络搭建， 网络分为两个部分： 多任务共享网络以及各任务特定网络， 提供 给步骤3.3 3.3构建训练过程 首先导入自定义数据集以及多任务网络搭建， 构建数据加载器以自定义图片及标签数 据输入网络的方式； 设计网络的损失函数， 如公式1所示； 网络训练时需要设置超参数， 包括学习率初值及其随训练循环次数增加的变化方式、 优化器以及优化器的参数、 输入图片批大小、 训练循环次数以及该方法中最重要的损失函 数各任务损失项的权值； 设置好损失函数及超参数后即可开始训练； 每一批图像输入 网络中都会得到每个任务 的分类或回归结果， 将各任务的预测值与各任务对应的由步骤2.4提供来标签中的真实值 (ground truth， GT)输入总损失函数能够算得当前的总损失值， 也就是预测值和真实值之 间的距离； 计算总损失值对于所有网络参数的导数， 利用优化器对网络参数进 行优化更新， 即为一轮训练迭代； 当把训练集中所有图片都轮次输入网络中进行训练后， 即为一个训练 循环； 结束一个训练循环后， 再将验证集的图片轮次输入网络中计算网络精度， 据此观察网 络训练情况并作为下次网络训练调整超参数 的依据； 当损失下降收敛至某个稳定值后， 训 练可以结束， 保存训练后的网络参数， 即获得多任务渣土识别模型； Loss＝α1Loss1+α2Loss2+α3Loss3+…+αnLossn           (1) 3.4模型测试及评估指标； 加载训练好的模型和参数， 输入需要测试的渣土图片即可获得 各任务的识别结果； 3.5渣土识别结果可视化 将网络中各任务输出端得到的识别结果 根据需要可视化在图片上。权　利　要　求　书 2/2 页 3 CN 114973067 A 3