-
公开(公告)号:CN111193971B
公开(公告)日:2020-12-08
申请号:CN202010143801.9
申请日:2020-03-04
Applicant: 西安电子科技大学
IPC: H04Q11/00
Abstract: 本发明提出了一种面向机器学习的分布式计算互连网络系统及通信方法,旨在提高互连网络的通信效率,同时更好地平衡分布式计算互连网络中的流量负载,其中分布式计算互连网络的光交换子系统包括2N台光交换机,计算子系统包括N个计算单元,每个计算单元包括N个子计算单元,每个子计算单元包括1台光电混合交换机和N个计算节点;通信过程为:在同一计算单元内通信的计算节点对仅依靠光电混合交换机的转发即可完成通信任务,不在同一计算单元内通信的计算节点对则需要光电混合交换机和光交换机的协作完成通信任务。本发明不仅使系统具备良好的可扩展性,减少了网络直径,降低了系统的通信时延,而且提升了系统应对复杂网络环境的能力。
-
公开(公告)号:CN113590321B
公开(公告)日:2024-02-27
申请号:CN202110870249.8
申请日:2021-07-30
Applicant: 西安电子科技大学
IPC: G06F9/50 , G06F18/243 , G06N3/0464 , G06N3/08 , G06N20/00
Abstract: 一种面向异构分布式机器学习集群的任务配置方法,其步骤如下:构建异构分布式机器学习集群;生成训练集和预测集;对卷积神经网络进行预训练;生成参数服务器的随机森林训练样本子集;构建随机森林模型;生成每个节点的推断训练时间;为每个节点配置任务;更新预训练好的卷积神经网络;训练卷积神经网络;将每个节点对应的卷积神经网络的训练次数达到最大次数时,再针对分布式机器学习集群中存在的节点资源特征参数变化重新配置节点任务。本发明提高了参数服务器为异构分布式机器学习集群中每个节点配置的任务与节点自身资源匹配度,并可根据每个节点资源变化,动态的为每个节点重新配置任务。
-
公开(公告)号:CN113590321A
公开(公告)日:2021-11-02
申请号:CN202110870249.8
申请日:2021-07-30
Applicant: 西安电子科技大学
Abstract: 一种面向异构分布式机器学习集群的任务配置方法,其步骤如下:构建异构分布式机器学习集群;生成训练集和预测集;对卷积神经网络进行预训练;生成参数服务器的随机森林训练样本子集;构建随机森林模型;生成每个节点的推断训练时间;为每个节点配置任务;更新预训练好的卷积神经网络;训练卷积神经网络;将每个节点对应的卷积神经网络的训练次数达到最大次数时,再针对分布式机器学习集群中存在的节点资源特征参数变化重新配置节点任务。本发明提高了参数服务器为异构分布式机器学习集群中每个节点配置的任务与节点自身资源匹配度,并可根据每个节点资源变化,动态的为每个节点重新配置任务。
-
公开(公告)号:CN117376284A
公开(公告)日:2024-01-09
申请号:CN202210742272.3
申请日:2022-06-28
Applicant: 西安电子科技大学
IPC: H04L49/20 , H04L67/1095 , G06N20/00 , G06N3/063 , G06N3/0464 , G06F9/50
Abstract: 本发明公开了一种基于网内计算的分布式机器学习梯度同步方法,包括:构建分布式机器学习集群;构建训练集并为每个计算节点分配训练集子集;在每个计算节点处构建卷积神经网络,利用每个计算节点所分配的训练集子集对当前计算节点处的卷积神经网络进行训练以在每个计算节点上产生一份梯度数据;利用可编程交换机和服务器对所有计算节点上的梯度数据块进行数据混合同步,以使所有计算节点上的梯度数据融合后的完整梯度数据;利用完整梯度数据对卷积神经网络的参数进行更新;迭代训练卷积神经网络,获得训练后的卷积神经网络模型。本发明可以大幅缩减链路中传输的数据量,缓解服务器节点网卡处的拥塞问题,提高服务器同步模式的通信效率。
-
公开(公告)号:CN111193971A
公开(公告)日:2020-05-22
申请号:CN202010143801.9
申请日:2020-03-04
Applicant: 西安电子科技大学
IPC: H04Q11/00
Abstract: 本发明提出了一种面向机器学习的分布式计算互连网络系统及通信方法,旨在提高互连网络的通信效率,同时更好地平衡分布式计算互连网络中的流量负载,其中分布式计算互连网络的光交换子系统包括2N台光交换机,计算子系统包括N个计算单元,每个计算单元包括N个子计算单元,每个子计算单元包括1台光电混合交换机和N个计算节点;通信过程为:在同一计算单元内通信的计算节点对仅依靠光电混合交换机的转发即可完成通信任务,不在同一计算单元内通信的计算节点对则需要光电混合交换机和光交换机的协作完成通信任务。本发明不仅使系统具备良好的可扩展性,减少了网络直径,降低了系统的通信时延,而且提升了系统应对复杂网络环境的能力。
-
-
-
-