一种适用于大规模分布式机器学习的新型拓扑设计方法

    公开(公告)号:CN115378818A

    公开(公告)日:2022-11-22

    申请号:CN202211317152.5

    申请日:2022-10-26

    Abstract: 本发明提供了一种适用于大规模分布式机器学习的新型拓扑设计方法,属于拓扑设计技术领域,该方法包括:步骤S1.分析Parameter Server架构、Tree AllReduce架构和Ring AllReduce架构的通信需求;步骤S2.获取通用拓扑需求;步骤S3.使用电路交换机或光电交换机和分组交换机,基于所述Parameter Server架构、Tree AllReduce架构和Ring AllReduce架构的通信需求,以及所述通用拓扑需求,构建由模块内和模块间组成的拓扑。本发明可以同时满足PS、Tree和Ring这三种广泛使用的分布式机器学习训练通信架构的通信需求。

    一种适用于大规模分布式机器学习的新型拓扑设计方法

    公开(公告)号:CN115378818B

    公开(公告)日:2023-02-24

    申请号:CN202211317152.5

    申请日:2022-10-26

    Abstract: 本发明提供了一种适用于大规模分布式机器学习的新型拓扑设计方法,属于拓扑设计技术领域,该方法包括:步骤S1.分析Parameter Server架构、Tree AllReduce架构和Ring AllReduce架构的通信需求;步骤S2.获取通用拓扑需求;步骤S3.使用电路交换机或光电交换机和分组交换机,基于所述Parameter Server架构、Tree AllReduce架构和Ring AllReduce架构的通信需求,以及所述通用拓扑需求,构建由模块内和模块间组成的拓扑。本发明可以同时满足PS、Tree和Ring这三种广泛使用的分布式机器学习训练通信架构的通信需求。

    一种基于聚合树的跨域分布式机器学习的带宽调度方法

    公开(公告)号:CN114827783A

    公开(公告)日:2022-07-29

    申请号:CN202210765251.3

    申请日:2022-07-01

    Abstract: 本发明提供了一种基于聚合树的跨域分布式机器学习的带宽调度方法,属于带宽调度技术领域,该方法包括如下步骤:步骤1:建立聚合树;步骤2:初始化波长;步骤3:获取每条链路的变量;步骤4:计算出波长;步骤5:检测聚合树上所有边的波长约束;步骤6:对于经过边e的任意链路,更新波长,并转至步骤5;步骤7:检测聚合树上所有节点的波长约束;步骤8:对于经过节点v的任意链路,更新波长,并转至步骤7;步骤9:获得聚合树上所有链路的波长分配集合后,对于网络中的其它边,随机分配波长,得到新拓扑;步骤10:返回波长分配集合及新拓扑。本发明可以定制化最适合的网络拓扑并为聚合树分配适合的带宽。

    一种基于聚合树的跨域分布式机器学习的带宽调度方法

    公开(公告)号:CN114827783B

    公开(公告)日:2022-10-14

    申请号:CN202210765251.3

    申请日:2022-07-01

    Abstract: 本发明提供了一种基于聚合树的跨域分布式机器学习的带宽调度方法,属于带宽调度技术领域,该方法包括如下步骤:步骤1:建立聚合树;步骤2:初始化波长;步骤3:获取每条链路的变量;步骤4:计算出波长;步骤5:检测聚合树上所有边的波长约束;步骤6:对于经过边e的任意链路,更新波长,并转至步骤5;步骤7:检测聚合树上所有节点的波长约束;步骤8:对于经过节点v的任意链路,更新波长,并转至步骤7;步骤9:获得聚合树上所有链路的波长分配集合后,对于网络中的其它边,随机分配波长,得到新拓扑;步骤10:返回波长分配集合及新拓扑。本发明可以定制化最适合的网络拓扑并为聚合树分配适合的带宽。

Patent Agency Ranking