公开(公告)号：CN116127018A

公开(公告)日：2023-05-16

申请号：CN202310208694.7

申请日：2023-03-07

Applicant: 北京邮电大学

Inventor： 徐梦炜 ,  蔡栋琪 ,  周傲 ,  马骁 ,  王尚广

IPC: G06F16/33 ,  G06F18/214 ,  G06F18/241

Abstract: 本申请实施例公开了一种面向自然语言模型的联邦小样本学习方法、系统及设备，在对自然语言模型进行微调时，由云端服务器控制多个端侧设备，采用渐进式数据增强协同方式进行，即采用基于伪标签方式及提示学习方式进行融合的联邦小样本学习方式与联邦学习方式协同进行，且在微调过程中不断更新最优的增强策略，从而使得各个端侧设备采用的训练数据包含少量的有标签的样本就可以微调得到精确率高的自然语言模型。因此，本申请实施例可以采用少量的有标签的训练数据微调一个精确率高的自然语言模型，提高微调后的自然语言模型的精确率。

公开(公告)号：CN116702884A

公开(公告)日：2023-09-05

申请号：CN202310737218.4

申请日：2023-06-21

Applicant: 北京邮电大学

Inventor： 徐梦炜 ,  武耀宗 ,  蔡栋琪 ,  王尚广

IPC: G06N3/098 ,  G06N3/04

Abstract: 本申请实施例提供一种基于前向梯度的联邦学习方法、系统及装置：在神经网络模型的每一训练轮，服务器选定多个边缘设备，向选定的边缘设备发送神经网络模型的模型参数，及向不同选定的边缘设备发送不同的随机种子；选定的边缘设备采用随机种子生成随机方向向量，基于本地数据计算神经网络模型中的目标函数在所述随机方向向量方向上的导数，发给所述服务器；服务器根据所述导数，及对应的随机种子进行计算，得到所述神经网络模型在边缘设备的前向梯度；基于所有边缘设备的前向梯度，计算神经网络模型在本训练轮的梯度，以优化所述神经网络模型的模型参数。这样，在保证神经网络模型训练精度的前提下，大幅度地提高联邦学习的可扩展性。

公开(公告)号：CN115454538A

公开(公告)日：2022-12-09

申请号：CN202211285526.X

申请日：2022-10-20

Applicant: 北京邮电大学

Inventor： 徐梦炜 ,  蔡栋琪 ,  周傲 ,  马骁 ,  王尚广

IPC: G06F9/445 ,  G06F11/36 ,  G06N3/04

Abstract: 本申请实施例公开了一种面向预训练模型的联邦学习方法、装置及系统，包括：云端服务器为预训练的自然语言处理模型，生成多个不同的微调训练插件；云端服务器基于预设的所述微调训练插件与端侧设备集群的对应关系，将所述微调训练插件发送给对应的端侧设备集群中的端侧设备，以使所述端侧设备将所述微调训练插件置入所述预训练的自然语言处理模型，进行微调训练，得到微调训练结果；云端服务器将所述微调训练结果聚合后，基于聚合结果更新所述微调训练插件，重新发送给对应的端侧设备集群中的端侧设备进行微调训练，直到所述微调训练结果达到预设准确率阈值为止。这样，在保证模型微调精度及微调数据安全的前提下，提升模型进行微调训练的效率。