-
公开(公告)号：CN106991474B
公开(公告)日：2019-09-24
申请号：CN201710191684.1
申请日：2017-03-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种深度神经网络模型并行的全连接层数据交换方法及系统，将深度神经网络的全连接层按神经元的数目均匀划分到N个训练单元上，形成一种在深度神经网络中全连接层模型并行的网络模型；在全连接层的前向传播过程中，采用半停等前向传播方法对前层的输入数据，采取部分到达、部分计算、整体输出和整体传播的处理方式；在全连接层的后向传播过程中，采用定停等后向传播方法对后层的残差数据，采取定量达到、定量计算和定量传播的处理方式；在一次前向与后向传播完成后，依据所求的权值梯度与阈值梯度，并行地更新各层的权值数据与阈值数据。能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。
-
公开(公告)号：CN107018184B
公开(公告)日：2019-08-30
申请号：CN201710191685.6
申请日：2017-03-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种分布式深度神经网络集群分组同步优化方法及系统，其中，方法的实现包括：对集群中的节点按性能分组、训练数据按节点性能分配、同组内使用同步并行机制、不同组间使用异步并行机制和不同组间使用不同的学习率。将性能相近的节点分为一组，可以减小同步开销；性能好的节点分配更多的训练数据，可以提高其资源利用率；在同步开销小的组内使用同步并行机制，可以发挥同步并行机制收敛效果好的优点；在同步开销大的组间使用异步并行机制，可以避免同步开销；对不同分组使用不同的学习率，有利于模型收敛。本发明针对异构集群中分布式深度神经网络的参数同步过程，使用了分组同步方法，大大提高了模型的收敛速度。
-
公开(公告)号：CN107018184A
公开(公告)日：2017-08-04
申请号：CN201710191685.6
申请日：2017-03-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种分布式深度神经网络集群分组同步优化方法及系统，其中，方法的实现包括：对集群中的节点按性能分组、训练数据按节点性能分配、同组内使用同步并行机制、不同组间使用异步并行机制和不同组间使用不同的学习率。将性能相近的节点分为一组，可以减小同步开销；性能好的节点分配更多的训练数据，可以提高其资源利用率；在同步开销小的组内使用同步并行机制，可以发挥同步并行机制收敛效果好的优点；在同步开销大的组间使用异步并行机制，可以避免同步开销；对不同分组使用不同的学习率，有利于模型收敛。本发明针对异构集群中分布式深度神经网络的参数同步过程，使用了分组同步方法，大大提高了模型的收敛速度。
-
公开(公告)号：CN106991474A
公开(公告)日：2017-07-28
申请号：CN201710191684.1
申请日：2017-03-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种深度神经网络模型并行的全连接层数据交换方法及系统，将深度神经网络的全连接层按神经元的数目均匀划分到N个训练单元上，形成一种在深度神经网络中全连接层模型并行的网络模型；在全连接层的前向传播过程中，采用半停等前向传播方法对前层的输入数据，采取部分到达、部分计算、整体输出和整体传播的处理方式；在全连接层的后向传播过程中，采用定停等后向传播方法对后层的残差数据，采取定量达到、定量计算和定量传播的处理方式；在一次前向与后向传播完成后，依据所求的权值梯度与阈值梯度，并行地更新各层的权值数据与阈值数据。能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。
-
-
-
Search Results
4
records
(took 0.022 seconds)
