公开(公告)号：CN110929878B

公开(公告)日：2023-07-04

申请号：CN201911041774.8

申请日：2019-10-30

Applicant: 同济大学

Inventor： 杨恺 ,  张春炯 ,  王钰皓

IPC: G06N20/00

Abstract: 本发明涉及一种分布式随机梯度下降方法，包括以下步骤：步骤S1：参数服务器得到初始全局梯度；步骤S2：基于初始全局梯度和工作节点的初始任务分配策略，工作节点计算得到工作节点梯度；步骤S3：参数服务器得到工作节点梯度，并进行计算得到更新全局梯度；步骤S4：参数服务器基于更新全局梯度和区块链技术，得到最优梯度和工作节点的更新任务分配策略；步骤S5：最优梯度保存于工作节点的参数缓存中；步骤S6：更新任务分配策略替代初始任务分配策略，最优梯度替代初始全局梯度，重复步骤S2‑S6直至权重收敛。与现有技术相比，避免收集到较差的模型参数，加速了模型的收敛速度，缩短了全程训练时间。

公开(公告)号：CN110929878A

公开(公告)日：2020-03-27

申请号：CN201911041774.8

申请日：2019-10-30

Applicant: 同济大学

Inventor： 杨恺 ,  张春炯 ,  王钰皓

IPC: G06N20/00

Abstract: 本发明涉及一种分布式随机梯度下降方法，包括以下步骤：步骤S1：参数服务器得到初始全局梯度；步骤S2：基于初始全局梯度和工作节点的初始任务分配策略，工作节点计算得到工作节点梯度；步骤S3：参数服务器得到工作节点梯度，并进行计算得到更新全局梯度；步骤S4：参数服务器基于更新全局梯度和区块链技术，得到最优梯度和工作节点的更新任务分配策略；步骤S5：最优梯度保存于工作节点的参数缓存中；步骤S6：更新任务分配策略替代初始任务分配策略，最优梯度替代初始全局梯度，重复步骤S2-S6直至权重收敛。与现有技术相比，避免收集到较差的模型参数，加速了模型的收敛速度，缩短了全程训练时间。