公开(公告)号：CN119109943A

公开(公告)日：2024-12-10

申请号：CN202411044049.7

申请日：2024-07-31

Applicant: 安徽大学

Inventor： 王怡欣 ,  肖波 ,  许柯 ,  张兴义

IPC: H04L67/12 ,  H04L67/01 ,  H04W4/80 ,  G06N3/098 ,  G06N20/00 ,  G06F18/22 ,  G06F18/23213

Abstract: 本发明公开了一种通信高效的联邦学习多粒度分组微调方法，涉及信息安全技术领域，解决了当前联邦学习的通信开销大以及在数据非独立同分布即Non‑IID场景下的模型性能弱的技术问题；本发明通过LoRA低秩参数矩阵构建客户端的预训练模型；客户端对参数矩阵B进行非对称性微调并将矩阵B上传至服务器；服务器进行多粒度分组并计算组内加权平均低秩矩阵；服务器对各客户端对应的专家门控参数进行加权平均得到平均专家门控参数，并用于全局模型的推理。本发明通过利用低秩适应矩阵的非对称性训练模型降低了LoRA的训练和通信开销，并且通过LoRA结合混合专家的训练方式提升了模型在Non‑IID场景下的精度。

公开(公告)号：CN119670845A

公开(公告)日：2025-03-21

申请号：CN202411727330.0

申请日：2024-11-28

Applicant: 安徽大学

Inventor： 肖波 ,  蔡啸东 ,  李忠诚 ,  许柯 ,  张兴义

IPC: G06N3/096 ,  G06N3/0464 ,  G06F17/16

Abstract: 本发明公开了一种结合高效参数迁移学习的模型量化方法，包括：基于预训练的ViT模型构建M1模型，并在M1模型的注意力层中添加低秩自适应矩阵，得到添加LoRA模块后的M2模型；将M2模型中的若干子模块转化为量化模块，得到量化后的M3模型；设置权重量化比特数和激活量化比特数，对结合预设迁移学习方式的模型M3进行校准，得到校准后各模型；利用预设训练集按照训练逻辑分别对校准后各模型进行训练；利用预设验证集对训练后的QATL‑M3模型、PTLQ‑M3模型以及GQTL‑M3模型进行评估，得到评估结果。本发明涉及深度学习领域，解决了现有模型量化方法在低比特量化情况下，模型计算成本高，容易出现过拟合的技术问题。