(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211086584.X (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115170568 A (43)申请公布日 2022.10.11 (73)专利权人 北京肿瘤医院 （北京大 学肿瘤医 院） 地址 100142 北京市海淀区阜成路52号 (72)发明人 夏邵君　孙应实　朱海涛　孔祥星　 李晓婷　孙瑞佳　管真　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 邱晓锋 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 20/17(2018.01) G16H 50/20(2018.01) 审查员 张雅娜 (54)发明名称 直肠癌图像自动分割方法和系统及放化疗 反应预测系统 (57)摘要 本发明涉及一种直肠癌图像自动分割方法 和系统及放化疗反应预测系统， 属于信息技术、 医疗技术领域。 本发明采集局部进展期直肠癌患 者在接受新辅助放化疗前后的T2 ‑MRI图像和 DWI‑MRI图像， 得到前后2个模态共4类图像； 将4 类图像分别输入基于U ‑Net网络的病灶分割网 络， 得到图像分割结果， 所述病灶分割网络在编 码阶段、 编码 ‑解码交接处、 解码阶段分别引入高 效通道注 意力模块、 双重注意力模块以及高效金 字塔压缩注 意力模块； 然后将图像 分割结果输入 特征提取网络得到4类特征， 将4类特征进行特征 融合后输入分类网络， 得到输出值， 完成病理完 全缓解PCR指标的预测。 本发明能够进行准确的 直肠癌图像病灶分割以及病理完全缓解PCR指标 预测。 权利要求书2页 说明书7页 附图5页 CN 115170568 B 2022.12.02 CN 115170568 B 1.一种直肠癌图像自动分割方法， 其特 征在于， 包括以下步骤： 采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2 ‑MRI图像和DWI ‑MRI图像， 得到4类图像； 将4类图像分别输入基于U ‑Net网络的病灶分割网络， 所述病灶分割网络在编码阶段、 编码‑解码交接处、 解码阶段分别引入高效通道注意力模块、 双重注意力模块以及高效金字 塔压缩注意力模块； 经过所述病灶分割网络的编码阶段和解码阶段的处 理， 得到图像分割结果； 所述病灶分割网络在编码阶段得到特征图M1‑M5以及S1‑S4， 得到所述M1‑M5以及S1‑S4的 步骤包括： 将输入图像X经过提取特征操作改变特征图通道数量， 得到特征图M1， M1经高效通道注 意力模块后得到S1； Si经过最大池化操作改变Si的大小， 再经过特征提取操作得到特征图Mi+1， 其中i为特征 图索引， i＝1， 2， 3， 4， Mi+1经高效通道注意力模块得到Si+1； 所述Mi+1分别为M2， M3， M4， M5； 所述 Si+1分别为S2， S3， S4； M5经过双重注意力模块得到 Md， 得到所述Md的步骤包括： M5分别通过位置注意力模块和通道 注意力模块； 经过位置注意力模块时， 将M5放入卷积层， 生成两个新的特征图P1和P2， 然后将其重塑 为C×N， 其中C为通道数， N＝H ×W为像素数； 然后对P1和P2的转置进行矩阵乘法， 应用激活函 数得到P3， 同时将M5放入卷积层， 生成新的特征图P4， 在P4和P3的转置之间进行矩阵乘法， 并 乘以尺度参数α 进行 逐元素求和， 最终得到位置注意图P； M5经过通道注意力模块时， 直接计算通道注意图C1， 然后对C和C的转置矩阵进行矩阵乘 法， 最后应用激活函数 得到通道 注意图C； 将通道注意图C和位置注意图P进行求和融合， 得到 Md； Md经过解码阶段 得到图像分割结果， 解码阶段包括： 定义U5＝Md， 将Bi+1经 过上采样操作改变特 征图大小， 得到特 征图； 将特征图与Mi经过高效金字塔压缩注意力模块， 得到特 征图Ui； 将Ui经过还原特征操作得到特征图Bi， 其中i为特征图索引， i＝4,3,2,1， 所述Bi分别为 B4， B3， B2， B1； 将B1通过卷积操作得到 输出 2.一种直肠癌图像自动分割 系统， 其特 征在于， 包括： 图像采集模块， 用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2 ‑MRI图 像和DWI‑MRI图像， 得到4类图像； 图像分割模块， 用于将4类图像分别输入基于U ‑Net网络的病灶分割网络， 所述病灶分 割网络在编码阶段、 编码 ‑解码交接处、 解码阶段分别引入高效通道注意力模块、 双重注意 力模块以及高效金字塔压缩注意力模块， 经过所述病灶分割网络的编 码阶段和解码阶段的 处理， 得到图像分割结果； 所述病灶分割网络在编码阶段得到特征图M1‑M5以及S1‑S4， 得到所述M1‑M5以及S1‑S4的 步骤包括： 将输入图像X经过提取特征操作改变特征图通道数量， 得到特征图M1， M1经高效通道注权　利　要　求　书 1/2 页 2 CN 115170568 B 2意力模块后得到S1； Si经过最大池化操作改变Si的大小， 再经过特征提取操作得到特征图Mi+1， 其中i为特征 图索引， i＝1， 2， 3， 4， Mi+1经高效通道注意力模块得到Si+1； 所述Mi+1分别为M2， M3， M4， M5； 所述 Si+1分别为S2， S3， S4； M5经过双重注意力模块得到 Md， 得到所述Md的步骤包括： M5分别通过位置注意力模块和通道 注意力模块； 经过位置注意力模块时， 将M5放入卷积层， 生成两个新的特征图P1和P2， 然后将其重塑 为C×N， 其中C为通道数， N＝H ×W为像素数； 然后对P1和P2的转置进行矩阵乘法， 应用激活函 数得到P3， 同时将M5放入卷积层， 生成新的特征图P4， 在P4和P3的转置之间进行矩阵乘法， 并 乘以尺度参数α 进行 逐元素求和， 最终得到位置注意图P； M5经过通道注意力模块时， 直接计算通道注意图C1， 然后对C和C的转置矩阵进行矩阵乘 法， 最后应用激活函数 得到通道 注意图C； 将通道注意图C和位置注意图P进行求和融合， 得到 Md； Md经过解码阶段 得到图像分割结果， 解码阶段包括： 定义U5＝Md， 将Bi+1经 过上采样操作改变特 征图大小， 得到特 征图； 将特征图与Mi经过高效金字塔压缩注意力模块， 得到特 征图Ui； 将Ui经过还原特征操作得到特征图Bi， 其中i为特征图索引， i＝4,3,2,1， 所述Bi分别为 B4， B3， B2， B1； 将B1通过卷积操作得到 输出 3.一种直肠癌放 化疗反应预测系统， 其特 征在于， 包括： 特征提取模块， 用于将权利要求1所述方法得到的图像分割结果分别输入特征提取网 络， 通过特征提取网络进行 特征提取并得到4类特 征； 预测模块， 用于将4类特征进行特征融合后输入分类网络， 得到输出值， 完成病理完全 缓解PCR指标的预测。 4.根据权利要求3所述的系统， 其特征在于， 所述特征提取网络将所述病灶分割网络得 到的图像分割结果依次经过5个卷积模块， 每个卷积模包括卷积层、 批标准化层和最大池化 层； 每经历一个卷积模块， 与最大池化层相结合以实现特征提取， 得到特征图； 将第5个卷积 模块得到的特征图输入到一个由2D卷积层、 批标准化层以及扁平化层组成的卷积模块后， 得到特征提取结果。 5.根据权利要求3所述的系统， 其特征在于， 所述分类网络 中分别输入经过所述特征提 取网络后得到的4种模态的特征， 在分类网络的连接层做特征融合， 然后经过全连接层、 随 机失活、 全连接层、 全连接层后， 得到病理完全缓解PCR指标的预测值。 6.一种电子装置， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求1所述 方法的指令 。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程序， 所述计算机程序被 计算机执 行时， 实现权利要求1所述的方法。权　利　要　求　书 2/2 页 3 CN 115170568 B 3