(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026079.6 (22)申请日 2022.08.25 (71)申请人 推想医疗科技股份有限公司 地址 100085 北京市海淀区上地信息路12 号1幢4层B401室 (72)发明人 唐雯　王大为　王少康　陈宽　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 彭星 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06T 7/60(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) (54)发明名称 一种随访病例数据 的处理方法、 装置、 设备 及存储介质 (57)摘要 本申请提供了一种随访病例数据的处理方 法、 装置、 设备及存储介质， 该处理方法包括： 根 据目标病灶在第一医学图像中的位置信息以及 尺寸信息， 确定目标病灶在第一空间下的第一检 测结果； 根据第一医学图像与第二医学图像之间 的配准变换矩阵， 对第一检测结果进行变换处 理， 得到第一检测结果在第二空间下的初始病灶 匹配结果； 将第一医学图像、 第二医学图像、 第一 检测结果 以及初始病灶匹配结果输入特征提取 模型中， 输出得到第二医学图像的病灶特征提取 结果。 这样， 本申请使得模型能够在医学图像信 息的基础上有效地结合病灶的解剖学结构信息， 提高了模型对于不同医学图像中同一病灶的特 征提取准确度以及对于同一病灶在随访病例数 据中匹配 定位的精准度。 权利要求书3页 说明书17页 附图6页 CN 115359010 A 2022.11.18 CN 115359010 A 1.一种随访病例数据的处理方法， 其特征在于， 所述随访病例数据中至少包括第一医 学图像和 第二医学图像； 所述第一医学图像和所述第二医学图像分别为不同时间内针对同 一对象采集到的医学图像； 所述处 理方法包括： 根据目标病灶在所述第 一医学图像中的位置信 息以及尺寸信 息， 确定所述目标病灶在 第一空间下的第一检测结果； 其中， 所述第一空间表征 所述第一医学图像所在的坐标空间； 根据所述第 一医学图像与 所述第二医学图像之间的配准变换矩阵， 对所述第 一检测结 果进行变换处理， 得到所述第一检测结果在第二空间下的初始病灶 匹配结果； 其中， 所述第 二空间表征 所述第二医学图像所在的坐标空间； 将所述第一医学图像、 所述第二医学图像、 所述第一检测结果以及所述初始病灶匹配 结果输入 特征提取模 型中， 输出得到所述第二医学图像的病灶特征提取结果； 其中， 所述病 灶特征提取结果至少用于针对所述第二医学图像的病灶分割任务。 2.根据权利要求1所述的处理方法， 其特征在于， 所述特征提取模型采用以swin ‑ transformer模块为核心的Unet网络结构； 其中， 所述Unet网络结构中包括多组对称的编码 器和解码器， 每一所述编码器中至少包括一个四输入四输出的swin ‑transformer模块， 所 述swin‑transformer模块中包 含多个特 征提取窗口， 所述sw in‑transformer模块用于： 接收上层编码器中每 个通道的输出 数据作为同一 通道在本层编码器中的输入数据； 将每个通道的输入数据分别切分为多个子数据， 并在每一所述特征提取窗口内对于不 同输入数据的子数据进行相同的特征提取与特征强化处理， 得到每个子数据在每一所述特 征提取窗口内对应的强化特 征； 对属于同一通道的子数据的强化特征进行拼接处理， 并将拼接处理的结果输出至下层 编码器中的相应通道内。 3.根据权利要求2所述的处理方法， 其特征在于， 在所述特征提取模型中， 以所述第一 医学图像中切分出的第一子数据作为所述swin ‑transformer模块中第一特征提取窗口的 第一输入数据、 所述第二医学图像中切分出的第一子数据作为所述第一特征提取窗口的第 二输入数据、 所述第一检测结果中切分出的第一子数据作为所述第一特征提取窗口的第三 输入数据、 所述初始病灶 匹配结果中切分出的第一子数据作为所述第一特征提取窗口的第 四输入数据， 通过以下方法得到所述第一输入数据在所述第一特征提取窗口内对应的第一 强化特征： 在所述第 一特征提取窗口内， 分别对所述第一输入数据、 所述第二输入数据、 所述第三 输入数据以及所述第四输入数据进行特征提取， 得到所述第一输入数据的第一数据特征、 所述第二输入数据的第二数据特征、 所述第三输入数据的第三数据特征以及所述第四输入 数据的第四数据特 征； 利用所述第 一数据特征在注意力机制下的Q特征矩阵和K特征矩阵， 计算得到所述第一 数据特征在自注意力机制下的第一自注意力特 征； 利用所述第 一数据特征在注意力 机制下的Q特征矩阵以及所述第 二数据特征在注意力 机制下的K 特征矩阵， 计算得到所述第一数据特 征在互注意力机制下的第一互注意力特 征； 利用所述第 三数据特征在注意力机制下的Q特征矩阵和K特征矩阵， 计算得到所述第三 数据特征在自注意力机制下的第三自注意力特 征； 利用所述第 三数据特征在注意力 机制下的Q特征矩阵以及所述第四数据 特征在注意力权　利　要　求　书 1/3 页 2 CN 115359010 A 2机制下的K 特征矩阵， 计算得到所述第三数据特 征在互注意力机制下的第三互注意力特 征； 利用所述第 一数据特征、 所述第 一自注意力特征、 所述第 一互注意力特征、 所述第三自 注意力特征、 所述第三互注意力特征、 所述第一数据特征在注意力机制下的V特征矩阵 以及 所述第二数据特 征在注意力机制下的V特 征矩阵， 计算得到所述第一强化特 征。 4.根据权利要求3所述的处理方法， 其特征在于， 通过以下方法得到所述第 二输入数据 在所述第一特 征提取窗口内对应的第二强化特 征： 利用所述第 二数据特征在注意力机制下的Q特征矩阵和K特征矩阵， 计算得到所述第二 数据特征在自注意力机制下的第二自注意力特 征； 利用所述第 二数据特征在注意力 机制下的Q特征矩阵以及所述第 一数据特征在注意力 机制下的K 特征矩阵， 计算得到所述第二数据特 征在互注意力机制下的第二互注意力特 征； 利用所述第四数据 特征在注意力机制下的Q特征矩阵和K特征矩阵， 计算得到所述第四 数据特征在自注意力机制下的第四自注意力特 征； 利用所述第四数据特征在注意力 机制下的Q特征矩阵以及所述第 三数据特征在注意力 机制下的K 特征矩阵， 计算得到所述第四数据特 征在互注意力机制下的第四互注意力特 征； 利用所述第 二数据特征、 所述第 二自注意力特征、 所述第 二互注意力特征、 所述第四自 注意力特征、 所述第四互注意力特征、 所述第一数据特征在注意力机制下的V特征矩阵 以及 所述第二数据特 征在注意力机制下的V特 征矩阵， 计算得到所述第二强化特 征。 5.根据权利要求3所述的处理方法， 其特征在于， 通过以下方法得到所述第 三输入数据 在所述第一特 征提取窗口内对应的第三强化特 征： 获取所述第一自注意力特征、 所述第一互注意力特征、 所述第三自注意力特征以及所 述第三互注意力特 征； 利用所述第 三数据特征、 所述第 一自注意力特征、 所述第 一互注意力特征、 所述第三自 注意力特征、 所述第三互注意力特征、 所述第三数据特征在注意力机制下的V特征矩阵 以及 所述第四数据特 征在注意力机制下的V特 征矩阵， 计算得到所述第三强化特 征。 6.根据权利要求1所述的处理方法， 其特征在于， 通过以下方法得到所述第四输入数据 在所述第一特 征提取窗口内对应的第四强化特 征： 获取所述第二自注意力特征、 所述第二互注意力特征、 所述第 四自注意力特征以及所 述第四互注意力特 征； 利用所述第四数据 特征、 所述第 二自注意力特征、 所述第 二互注意力特征、 所述第四自 注意力特征、 所述第四互注意力特征、 所述第三数据特征在注意力机制下的V特征矩阵 以及 所述第四数据特 征在注意力机制下的V特 征矩阵， 计算得到所述第四强化特 征。 7.根据权利要求1所述的处 理方法， 其特 征在于， 所述处 理方法， 还 包括： 将所述第二医学图像的病灶特征提取结果输入至第 一病灶分割 模型中， 输出得到所述 第二医学图像的病灶分割 预测结果； 其中， 所述第一病灶分割模型表征处于训练阶段的病 灶分割模型； 所述病灶分割预测结果表征针对所述目标病灶在所述第二医学图像中所在图 像区域的预测结果； 根据所述病灶分割预测结果与所述目标病灶在所述第二空间下的第二检测结果之间 的分割损失， 对所述第一病灶分割模型以及所述特征提取模型的模型参数进行调整， 得到 包含调整好的参数在内的第一病灶分割模型以及特征提取模型； 其中， 所述第二检测结果权　利　要　求　书 2/3 页 3 CN 115359010 A 3