一种基于前向梯度的联邦学习方法、系统及装置

    公开(公告)号:CN116702884A

    公开(公告)日:2023-09-05

    申请号:CN202310737218.4

    申请日:2023-06-21

    Abstract: 本申请实施例提供一种基于前向梯度的联邦学习方法、系统及装置:在神经网络模型的每一训练轮,服务器选定多个边缘设备,向选定的边缘设备发送神经网络模型的模型参数,及向不同选定的边缘设备发送不同的随机种子;选定的边缘设备采用随机种子生成随机方向向量,基于本地数据计算神经网络模型中的目标函数在所述随机方向向量方向上的导数,发给所述服务器;服务器根据所述导数,及对应的随机种子进行计算,得到所述神经网络模型在边缘设备的前向梯度;基于所有边缘设备的前向梯度,计算神经网络模型在本训练轮的梯度,以优化所述神经网络模型的模型参数。这样,在保证神经网络模型训练精度的前提下,大幅度地提高联邦学习的可扩展性。

Patent Agency Ranking