公开(公告)号：CN117081944A

公开(公告)日：2023-11-17

申请号：CN202311102966.1

申请日：2023-08-30

Applicant: 西南交通大学

Inventor： 罗寿西 ,  王仁毅 ,  邢焕来

IPC: H04L41/16 ,  H04L67/60 ,  G06N5/01

Abstract: 本发明公开了一种基于多生成树的全局归约方法，具体为：根据当前网络中的剩余带宽，在给定的生成树最大高度H和最小带宽r的限制下，寻找多棵优化后的全局归约树，并为每一棵树选定根节点；在整体吞吐率的降低量在允许范围内的前提下，以二分搜索的方式进一步减少生成树的最大高度；得到生成树的列表和相应的速率分配后，从中选择不超过K棵树并确定其速率，以此为权重按比例进行全局归约任务的分配，从而实现并发的全局归约。本发明通过构造更为均衡的生成树，获得最大时延和最小带宽可控、带宽利用率更高的多棵生成树，并发地进行全局归约，有效提高网络资源的利用效率，加快全局归约任务的执行效率。

公开(公告)号：CN115250253A

公开(公告)日：2022-10-28

申请号：CN202210712450.8

申请日：2022-06-22

Applicant: 西南交通大学

Inventor： 罗寿西 ,  王仁毅 ,  李可 ,  邢焕来

IPC: H04L47/125 ,  H04L67/1001 ,  H04L41/16

Abstract: 本发明的主要目的在于提供带宽感知的归约处理方法以加速分布式场景中AI模型的训练，解决了现有技术中网络链路利用率不足的技术问题。带宽感知的归约处理方法，包括以下步骤：step110，判断工作模式，当工作模式为阻塞模式时进入步骤step120，当工作模式为非阻塞模式时进入步骤step130；step120，当有p个节点完成训练后，根据p个节点的带宽获取新的模型切分方案，然后对AI模型进行切分，将切分得到的模型分块发送给其它节点；step130，在每个节点完成训练后，按照预定义的模型切分方案对AI模型进行切分，然后将切分得到的模型分块发送给其它节点；step140，所有节点收齐来自p个节点的模型分块后，对模型分块进行聚合；其中，所述模型切分方案为带宽感知的切分方案。

公开(公告)号：CN115250253B

公开(公告)日：2024-02-27

申请号：CN202210712450.8

申请日：2022-06-22

Applicant: 西南交通大学

Inventor： 罗寿西 ,  王仁毅 ,  李可 ,  邢焕来

IPC: H04L47/125 ,  H04L67/1001 ,  H04L41/16

Abstract: 本发明的主要目的在于提供带宽感知的归约处理方法以加速分布式场景中AI模型的训练，解决了现有技术中网络链路利用率不足的技术问题。带宽感知的归约处理方法，包括以下步骤：step110，判断工作模式，当工作模式为阻塞模式时进入步骤step120，当工作模式为非阻塞模式时进入步骤step130；step120，当有p个节点完成训练后，根据p个节点的带宽获取新的模型切分方案，然后对AI模型进行切分，将切分得到的模型分块发送给其它节点；step130，在每个节点完成训练后，按照预定义的模型切分方案对AI模型进行切分，然后将切分得到的模型分块发送给其它节点；step140，所有节点收齐来自p个节点的模型分块后，对模型分块进行聚合；其中，所述模