公开(公告)号：CN119109943A

公开(公告)日：2024-12-10

申请号：CN202411044049.7

申请日：2024-07-31

Applicant: 安徽大学

Inventor： 王怡欣 ,  肖波 ,  许柯 ,  张兴义

IPC: H04L67/12 ,  H04L67/01 ,  H04W4/80 ,  G06N3/098 ,  G06N20/00 ,  G06F18/22 ,  G06F18/23213

Abstract: 本发明公开了一种通信高效的联邦学习多粒度分组微调方法，涉及信息安全技术领域，解决了当前联邦学习的通信开销大以及在数据非独立同分布即Non‑IID场景下的模型性能弱的技术问题；本发明通过LoRA低秩参数矩阵构建客户端的预训练模型；客户端对参数矩阵B进行非对称性微调并将矩阵B上传至服务器；服务器进行多粒度分组并计算组内加权平均低秩矩阵；服务器对各客户端对应的专家门控参数进行加权平均得到平均专家门控参数，并用于全局模型的推理。本发明通过利用低秩适应矩阵的非对称性训练模型降低了LoRA的训练和通信开销，并且通过LoRA结合混合专家的训练方式提升了模型在Non‑IID场景下的精度。