(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143043.6 (22)申请日 2022.09.20 (71)申请人 广西师范大学 地址 541004 广西壮 族自治区桂林市七 星 区育才路15号 (72)发明人 刘鹏　卢鹏　甘晓昀　李东城　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于CGAN的异质数据聚合方法 (57)摘要 本发明公开了一种基于CGAN的异质数据聚 合方法,包括如下步骤:步骤1： 对于每一个客户 端i， 分别利用本地数据集Si训练一轮得到梯度 gi,然后将得到的 发送至参数服务器； 步骤2： 对于参数服务器， 用从客户端发来的 生成数据 集 步骤3： 参数服务器利用得到的元数据集 MDn对全局模型进行m轮训练； 步骤4： 循环； 步骤 5： 每经过一段时间， 即n轮后， 参数服务器将向所 有客户端下发一次全局模 型参数； 步骤6： 本地模 型每经过一段时间， 即n轮后从参数服务器获得 全局模型， 此时本地模型与全局模 型将做一次交 换。 这种方法收敛速度快， 模型的训练效率高， 性 能好。 权利要求书1页 说明书5页 附图1页 CN 115456198 A 2022.12.09 CN 115456198 A 1.基于CGAN的异质数据聚合方法,其特 征在于,包括如下步骤： 假设有M个客户端1,2， …， M， n作为客户端下标,每个客户端都有一个本地的数据集Si、 生成器 和鉴别器 其中μ1和 μ2分别表示生成器和鉴别器的学习率， 并随机初始化参数 服务器的全局模型gl obal W； 步骤1： 对于每一个客户端i， 分别 利用本地数据集Si训练一轮得到梯度gi， 因此得到： 然后将得到的 发送至参数服 务器； 步骤2： 对于参数服 务器， 用从客户端发来的 生成数据集 即： 步骤3： 参数服务器利用得到的元数据集MDn对全局模型进行m轮训练， 其中m是一个 预设 的超参数； 步骤4： 循环执 行步骤1、 步骤2和步骤3共n轮， 其中n是一个预设的超参数； 步骤5： 每经过一段时间， 即n轮后， 参数服务器将向所有客户端下发一次全局模型参 数； 步骤6： 本地模型每经过一段时间， 即n轮后从参数服务器获得全局模型， 此时本地模型 与全局模型将做一次交换， 以此增强本地模型的泛化能力； 经过上述步骤1到步骤6多轮的迭代训练后， 全局模型global  W得到分布于各个客户端 数据的总体的数据分布， 相当于将所有的客户端 数据聚合到一块利用传统方法训练得到的 模型， 此时， 各个客户端利用此全局模 型再结合本地客户端的数据进 行个性化的模型训练， 各个客户端即可最终得到个性 化本地模型。权　利　要　求　书 1/1 页 2 CN 115456198 A 2基于CGAN的异质 数据聚合 方法 技术领域 [0001]本发明涉及联邦学习中异质数据训练， 具体是基于 CGAN的异质数据聚合方法。 背景技术 [0002]生成对抗网络(Generativ e Adversar ial Networks， 简称GA Ns)是一类识别模 型， 可用于拟合数据分布合成数据集。 条件对抗生成网络(Conditional  Generative   Adversarial  Networks， 简称CGAN)， 它为生成器、 判别 器都额外加入了一个条件y， 这个条 件实际是希望生成的标签。 生成器G必须要生成和条件y匹配的样本， 判别器不仅要判别图 像是否真实， 还要判别图像和条件y是否匹配。 这些生成的数据集与拟合的原始数据具有相 同的分布。 GANs的应用从生 成图像， 风格转换， 超分辨率重构， 创建深度假视频等等。 GANs用 于学习确定样本是自来模型分布还是数据分布。 它由生成器和鉴别器组成， 生成器被认为 类似一组造假者， 他们试图生产假币并在未被发现的情况下使用， 而鉴别器类似于警察， 试 图检测假币。 在这场比赛中的竞争促使二者改进他们的方法， 直到 真品和假货无法区分。 高 质量的GANs模型往往是从大型的数据集上训练得到， 然而， 在很多情况下数据都分布在不 同存储端中。 受制于GDPR和PIPL等法规， 敏感的隐私数据共享受到了极大的限制或者成为 不可能。 因此， 为了拟合整个群体的数据分布， 需要有适用于联邦场景下的分布式GA N方法。 现有的做法是在各个客户端分别训练本地的生成器和鉴别器， 而后 将生成器参数上传至参 数服务器进行联邦聚合。 然而， 这些方法只适用于iid数据的场景， 在非独立同分布数据 (not‑iid)下表现并不理想 。 [0003]在not‑iid场景下， 目前也有一些其他的技术手段， 比如Fed ‑GANs技术。 该技术是 先在本地训练生成器和鉴别器， 再 由本地客户端将生成器发送至参数服务器， 由服务器利 用这些生成器分别生成特征数据， 而后利用这些生成的特征数据训练一个全局的生成器。 全局的生成器的初始化是各个本地生成器的一个联邦聚合， 全局生成器在该基础上利用生 成的数据进行微调。 最后， 微调训练后的全局 生成器将模型参数下发至各个本地客户端更 新， 客户端再进 行下一步的迭代。 该方法虽然能在一定程度上缓解not ‑iid场景下数据异质 性带来的如梯度漂移等问题， 但由于各个本地模型依旧相互影响， 造成模型对本地数据的 拟合收敛速度不理想， 同时总体拟合质量 也很难提高。 [0004]非独立同分布 数据(not ‑iid)指的是参与联邦训练的各个客户端之间的数据具有 较大的差异， 这种差异具体可能体现在客户端1只有全部类别中的几个类别的数据， 比如说 在自然灾害对电力负荷的影响中， 南方地区经常是因为洪涝， 而西北地区则是因为干旱缺 水等。 差异也可能体现在在具体的客户端中某一类别的数据样本较多， 但某一类别的数据 样本较少， 比如说某些与地区性相关的疾病， 其在甲地 发病率较高， 但在乙地 发病率就很低 等。 [0005]在实际not ‑iid场景下参与联邦训练的客户端， 客户端之间的数据往往是不平衡 的， 同时这种不平衡最终会体现在模型的精度上。说　明　书 1/5 页 3 CN 115456198 A 3