-
公开(公告)号：CN118446275A
公开(公告)日：2024-08-06
申请号：CN202410590676.4
申请日：2024-05-13
Applicant: 西北农林科技大学
IPC: G06N3/084 , G06N3/0464
Abstract: 本发明公开了一种基于延迟感知的软同步分布式深度学习参数更新方法和系统，它包含软同步更新策略和基于延迟的梯度加权平均算法；首先通过使计算节点在本地多次更新，进行梯度累加，大幅度的减少了工作节点与参数服务器节点之间的通信次数，进而减少了通信开销，同时也有效地利用了工作节点的内存空间。其次，每次在收到部分计算节点的梯度信息，为其生成权重并进行梯度加权平均，之后进行一次全局的模型更新，使得模型的训练朝着某一方向进行收敛，与异步更新相比，收敛方向更加稳定，可以有效缓解由于放宽同步屏障带来的梯度过时问题。
Search Results
1
records
(took 0.019 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
