(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210354116.X (22)申请日 2022.04.06 (71)申请人 华南农业大 学 地址 510640 广东省广州市天河区五山路 483号 (72)发明人 黄栋　徐元琨　凌华保　朱博文　 陈定华　方思国　张颢译　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度结构学习的深度医学图像 聚类方法 (57)摘要 本发明公开了一种基于多尺度结构学习的 深度医学图像聚类方法， 通过将图像数据自身的 表征学习和图像之间的全局多尺度结构学习结 合起来， 以卷积神经网络、 自编码器、 图卷积网络 共同构建可进行多尺度结构学习的深度医学图 像聚类方法， 从而提升深度图像聚类的性能。 本 发明首次将实例级对比学习、 全局聚类结构学 习、 多尺度邻域结构学习构建成一个统一的深度 图像聚类框架， 将不同尺度下的图像间邻域结构 信息和图像数据自身的表征信息进行协同的学 习与更新， 有效提高了特征信息的鲁棒性和置信 度， 弥补了现有技术当中仅使用单尺度邻域结构 信息的不足。 权利要求书4页 说明书12页 附图3页 CN 114743037 A 2022.07.12 CN 114743037 A 1.一种基于多尺度结构学习的深度医学图像聚类方法， 其特 征在于， 包括以下步骤： 收集待进行聚类的N张医学图像， 并构建医学图像数据集S， 对医学图像数据集中的每 张图像Y随机采用两种不同的数据增强方式， 得到对应于该图像的增强后的样本图像Ya和 Yb； 将所述样本图像Ya和Yb分别通过主干网络后在实例相似度模块联合簇结构和实例重 构模块对Y a和Yb进行训练； 其中， 在所述实例相似度模块中， 特征信 息矩阵Za和Zb在通过两 层全连接多层感知机后完成了余弦相似度计算， 实例对比损失的计算以及实例相似度对比 损失的优化， 从而对特征信息矩阵Za和Zb进行反复迭代更新； 通 过训练反复迭代 优化后提 取 Ya和Yb特 征信息矩阵Za和Zb； 依据特征信息矩阵Zb构建多尺度邻域结构信息， 在特 征信息矩阵Zb上构建M路K近邻图； 将得到的多尺度邻域结构信息放入到M路图卷积网络当中， 与训练好的实例重构模块 的自编码器部分结合起来联合训练， 同时学习图像样本自身信息与图像样本之 间的多尺度 邻域结构信息； 在训练完成后， 对网络学到的特征结果进行聚类以获得医学图像的类别预 测结果。 2.根据权利要求1所述的基于多尺度 结构学习的深度医学图像聚类方法， 其特征在于， 所述数据增强方式包括随机 裁剪、 颜色抖动、 灰度、 水平翻转和高斯模糊。 3.根据权利要求1所述的基于多尺度 结构学习的深度医学图像聚类方法， 其特征在于， 图像Ya和Yb通过主干网络处理后得到的特征矩阵被映射到了一个低维的子空间当中， 在这 个低维子空间当中对其进行实例 相似度结构学习； 将样本Y分别经过不同数据增强所得到的样本Ya和Yb视为一个正样本对， Ya与剩下的 2*(N‑1)个样本组成2*(N ‑1)个负样本对； 通过对比损失使得正样本对之间的距离缩小， 同 时拉远负 样本对之间的距离； 正负 样本对之间的相似度 度量方式采用了余弦相似度； 图像Ya的实例对比损失如下： 上述公式中， 表示样本Ya和 Yb之间的余弦相 似度， e为 自然对数底数， τI是用 于连续图像数据的对比温度参数表示， N表示医学图像数据集S中 医学图像的数量； 对于分别经 过不同数据增强的样本均进行对比损失的计算： 其中 表示图像样本Yb的实例对比损失； 使用随机梯度下降算法最小化实例相似度对 比损失 4.根据权利要求1所述的基于多尺度 结构学习的深度医学图像聚类方法， 其特征在于， 实例重构模块使用四层自编码器网络结构， 联合簇结构和实例 重构模块的两个损失： 对比 簇结构损失和实例重构损失分别是：权　利　要　求　书 1/4 页 2 CN 114743037 A 2上述式子 中， 初步特征信 息矩阵Zb的第i行为 表示第i个样本的特征信 息； 表示经 过自编码器重构得到的第i个样本的特征信息， 表示经过 自编码器重构得到的特征信息 矩阵， N表示图像数据集中 医学图像的个数， NOC表示图像数据集的类别数； H(Wa)和H(Wb)为两个正则化项， 其中： 更具体来说： 其中Wa和Wb是初步特征信息矩阵Za和Zb经过自编码器降维之后得到的低维特征矩阵， 表示矩阵Wa的第i列； 表示在矩阵Wk中第t个样本的第i列； 联合簇结构和实例重构模块的损失 最后的形式为： 5.根据权利要求1所述的基于多尺度 结构学习的深度医学图像聚类方法， 其特征在于， 依据特征信息矩阵Zb构建多尺度邻域结构信息， 在特征信息矩阵Zb上构建M路K近邻图， 包 括： 构建相似性矩阵； 针对图像数据集， 利用高斯核的方式来度量样本与样本之间的相似 性： zi和zj表示特征信息矩阵Zb中的第i行和第j行， 也就是第i个样本和第j个样本的特征 信息， t为热传导方程中的时间参数； 构建相似性矩阵之后， 在相似性矩阵上构建不同的K近邻图， 一共构建M个K近邻图， M≥ 2。 6.根据权利要求1所述的基于多尺度 结构学习的深度医学图像聚类方法， 其特征在于， 使用联合簇结构和实例重构模块中的自编 码器和图卷积模块进行联合训练， 自编 码器层数 设为l层， 每一层通过如下公式从特 征信息矩阵Zb中学习样本的自身信息： 其中Φ(·)是自编码器每一层的激活函数， 和 分别表示自编码器每一层的权权　利　要　求　书 2/4 页 3 CN 114743037 A 3