-
公开(公告)号：CN116894461A
公开(公告)日：2023-10-17
申请号：CN202310935188.8
申请日：2023-07-27
Applicant: 西北农林科技大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明提出了一种面向深度学习的去中心化并行梯度下降训练方法和系统，该方法属于深度学习并行化领域，提出了基于历史权重的预训练、管道通信和基于缓冲权重的并行训练相结合的方法，实现了加速分布式系统训练深度神经网络的过程。该方法旨在为分布式深度学习任务提供更高效的训练方式，实现对深度神经网络模型的快速训练。建立基于历史权重的预训练方法，保证了模型收敛的稳定性，使得网络模型在训练过程中更加稳健地收敛于全局最优解。管道通信机制，分解了通信任务，增加了通信的并行粒度，提高了工作节点之间的信息交换效率。利用基于缓冲权重的并行训练方法，实现通信和计算操作的解耦，最大化硬件设备算力资源的利用率。
Search Results
1
records
(took 0.016 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
