公开(公告)号：CN111104215A

公开(公告)日：2020-05-05

申请号：CN201911117318.7

申请日：2019-11-15

Applicant: 河海大学

Inventor： 谢在鹏 ,  李博文 ,  张基 ,  朱晓瑞 ,  徐媛媛 ,  叶保留 ,  毛莺池

IPC: G06F9/50 ,  G06F9/54 ,  G06N3/08 ,  G06K9/00

Abstract: 本发明公开了一种基于分布式编码的随机梯度下降优化方法，针对在大规模分布式集群上面临的计算节点异构和通讯负载瓶颈带来的梯度延迟和效率下降的问题，基于分布式编码提出一种适应节点负载均衡的异步随机梯度下降优化算法。主要通过在数据交换阶段针对参数更新时产生的数据通信进行编码优化，并使用一种基于负载均衡策略通过对节点计算能力进行实时估计，优化节点间的任务分配，改善梯度延迟问题。本算法可以缓解由于梯度延迟问题导致的深度神经网络的损失函数难以收敛的问题，能够对大规模神经网络上的训练性能带来较好的提升，从而保证了提高了分布式神经网络训练算法的性能。

公开(公告)号：CN111045843A

公开(公告)日：2020-04-21

申请号：CN201911057644.3

申请日：2019-11-01

Applicant: 河海大学

Inventor： 谢在鹏 ,  张基 ,  李博文 ,  叶保留 ,  毛莺池

IPC: G06F11/07

Abstract: 本发明公开了一种具有容错能力的分布式数据处理方法，其中每份数据使用三个实现相同功能的模块同时进行操作，由于三个模块相互独立，同时有两个模块出现相同错误的概率非常小，故可大大提高系统的可靠性，掩蔽掉故障模块的错误，且上述分布式计算方法结合了一种基于分布式编码计算的数据交换算法，既保持了分布式编码计算较低的通信负载，又能将备份的维护与故障恢复效率接近于副本技术，从而在保证了分布式系统的高可靠性的同时降低了通信负载。

公开(公告)号：CN111045843B

公开(公告)日：2021-09-28

申请号：CN201911057644.3

申请日：2019-11-01

Applicant: 河海大学

Inventor： 谢在鹏 ,  张基 ,  李博文 ,  叶保留 ,  毛莺池

IPC: G06F11/07

Abstract: 本发明公开了一种具有容错能力的分布式数据处理方法，其中每份数据使用三个实现相同功能的模块同时进行操作，由于三个模块相互独立，同时有两个模块出现相同错误的概率非常小，故可大大提高系统的可靠性，掩蔽掉故障模块的错误，且上述分布式计算方法结合了一种基于分布式编码计算的数据交换算法，既保持了分布式编码计算较低的通信负载，又能将备份的维护与故障恢复效率接近于副本技术，从而在保证了分布式系统的高可靠性的同时降低了通信负载。

公开(公告)号：CN111104215B

公开(公告)日：2023-03-24

申请号：CN201911117318.7

申请日：2019-11-15

Applicant: 河海大学

Inventor： 谢在鹏 ,  李博文 ,  张基 ,  朱晓瑞 ,  徐媛媛 ,  叶保留 ,  毛莺池

IPC: G06F9/50 ,  G06F9/54 ,  G06N3/084 ,  G06N3/098 ,  G06V10/82 ,  G06V10/94 ,  G06V10/96 ,  G06V30/22

Abstract: 本发明公开了一种基于分布式编码的随机梯度下降优化方法，针对在大规模分布式集群上面临的计算节点异构和通讯负载瓶颈带来的梯度延迟和效率下降的问题，基于分布式编码提出一种适应节点负载均衡的异步随机梯度下降优化算法。主要通过在数据交换阶段针对参数更新时产生的数据通信进行编码优化，并使用一种基于负载均衡策略通过对节点计算能力进行实时估计，优化节点间的任务分配，改善梯度延迟问题。本算法可以缓解由于梯度延迟问题导致的深度神经网络的损失函数难以收敛的问题，能够对大规模神经网络上的训练性能带来较好的提升，从而保证了提高了分布式神经网络训练算法的性能。

公开(公告)号：CN111400026B

公开(公告)日：2023-02-28

申请号：CN201911119106.2

申请日：2019-11-15

Applicant: 河海大学

Inventor： 谢在鹏 ,  李博文 ,  张基 ,  朱晓瑞 ,  徐媛媛 ,  叶保留 ,  毛莺池

IPC: G06F9/50 ,  G06F17/12 ,  G06F11/14

Abstract: 本发明公开了一种主从备份技术的分布式负载均衡方法，包括步骤如下：S1划分节点集合；S2划分任务集合；S3分发子任务；S4记录执行时间；S5计算执行效率；S6求解分配方案；通过将任务分配问题建模为线性规划问题，通过对抽象模型的分析，实现了对任务分配可行域的求解。同时结合实际问题，提出一种带备份的任务分配和动态调整方法，该方法旨在提供一种能在有备份的分布式集群上实现按效能的任务分配，同时尽可能降低节点之间的显在性能关联性。能够实现在提高主节点的任务量时，尽量不提高备份节点的额外负担，进而可以缓解节点间存在的性能差异对整体任务运行时间的影响。

公开(公告)号：CN111400026A

公开(公告)日：2020-07-10

申请号：CN201911119106.2

申请日：2019-11-15

Applicant: 河海大学

Inventor： 谢在鹏 ,  李博文 ,  张基 ,  朱晓瑞 ,  徐媛媛 ,  叶保留 ,  毛莺池

IPC: G06F9/50 ,  G06F17/12 ,  G06F11/14

Abstract: 本发明公开了一种主从备份技术的分布式负载均衡方法，包括步骤如下：S1划分节点集合；S2划分任务集合；S3分发子任务；S4记录执行时间；S5计算执行效率；S6求解分配方案；通过将任务分配问题建模为线性规划问题，通过对抽象模型的分析，实现了对任务分配可行域的求解。同时结合实际问题，提出一种带备份的任务分配和动态调整方法，该方法旨在提供一种能在有备份的分布式集群上实现按效能的任务分配，同时尽可能降低节点之间的显在性能关联性。能够实现在提高主节点的任务量时，尽量不提高备份节点的额外负担，进而可以缓解节点间存在的性能差异对整体任务运行时间的影响。