公开(公告)号：CN116843021A

公开(公告)日：2023-10-03

申请号：CN202310452493.1

申请日：2023-04-25

Applicant: 之江实验室 ,  厦门大学

Inventor： 卢杨 ,  吕凤玲 ,  钱品馨 ,  黄刚 ,  华炜 ,  王菡子

IPC: G06N3/098 ,  G06F18/24 ,  G06N5/02

Abstract: 本发明公开了一种基于知识蒸馏特征生成的长尾数据联邦学习方法和系统，在服务器上训练一个轻量级的生成模型。生成模型的输入为标签，输出为对应的特征。生成特征可以模拟真实特征的分布。在个性化模型的训练过程中，为每个客户端上的局部少数类生成更多特征，为其他类生成更少特征，这将有助于缓解每个客户端数据的严重不平衡。此外，全局模型是从局部模型聚合而来的，在全局头类中表现更好，而且能够获得高质量和含有丰富信息的特征。将全局模型的知识提取到个性化模型中可以帮助提高个性化模型的性能。通过生成特征来知识蒸馏来训练个性化模型。这样能够有效解决联邦异构长尾数据分布的问题，进一步提升了个性化联邦学习下的模型性能。

公开(公告)号：CN116628543A

公开(公告)日：2023-08-22

申请号：CN202310452512.0

申请日：2023-04-25

Applicant: 之江实验室 ,  厦门大学

Inventor： 卢杨 ,  钱品馨 ,  黄刚 ,  华炜 ,  王菡子

IPC: G06F18/24 ,  H04L67/01 ,  G06N3/098 ,  G06F18/214

Abstract: 本发明公开了一种基于元学习的不平衡数据联邦学习方法和系统，包括：客户端接收服务端下发的赋权模型参数和全局模型参数，利用本地数据和赋权模型参数得到用作校正数据不平衡的权重，基于权重、本地数据以及全局模型参数更新本地模型参数，其中，赋权模型参数包括类赋权模型参数、样本赋权模型参数，对应的权重包括类权重和样本权重；服务端接收客户端上传的本地模型参数并聚合得到全局模型参数，利用元数据、赋权模型参数以及聚合的全局模型参数得到元全局模型参数，利用元全局模型参数和元数据来更新赋权模型参数，更新的赋权模型参数和聚合的全局模型参数下发至客户端进行下一轮联邦学习。

公开(公告)号：CN115688939A

公开(公告)日：2023-02-03

申请号：CN202211396784.5

申请日：2022-11-09

Applicant: 厦门大学

Inventor： 卢杨 ,  钱品馨 ,  王菡子

IPC: G06N20/00 ,  G06N3/045 ,  G06N3/08 ,  G06F21/62 ,  G06F18/2431 ,  G06F18/23213

Abstract: 本发明公开了一种基于对抗式特征增广的长尾数据个性化联邦学习方法，包括：在服务器端将整个全局模型分成全局特征提取器g和全局分类器f并将其发给若干个客户端；通过随机采样平衡若干个客户端本地样本数据分布，利用伯努利分布构建若干对源大类样本ys和目标小类样本yt标签对；获取源大类样本特征hs和目标小类样本特征并得到采样平衡样本特征集Dbal和生成平衡样本特征集利用所述采样平衡样本特征集Dbal和生成平衡样本特征集训练所述全局分类器f，结合全局特征提取器g，得到本地个性化模型。能够解决全局长尾数据分布下的数据异构问题。