-
公开(公告)号：CN113824802A
公开(公告)日：2021-12-21
申请号：CN202111398769.X
申请日：2021-11-24
Applicant: 之江实验室
Abstract: 本发明公开了一种去中心化分布式训练拓扑结构，包括：所述拓扑结构为n维超方形拓扑结构，是封闭的、紧致的、凸的无向图，所述拓扑结构由有限非空节点集合和有限边集合组成，所述拓扑结构的1维骨架是由一群在其所在空间对准每个维度整齐排列的等长的线段组成的，其中相对的线段互相平行，而相交于一点的线段则互相正交，本发明聚焦于去中心化分布式性能训练，将训练任务“均匀化”，将训练任务负荷均匀地分配到分布式训练系统中各个训练节点上，系统性能不再取决于单一训练节点性能，具有迭代耗时短，数据本地化，通信有效性高的优点。
-
公开(公告)号：CN114218929A
公开(公告)日：2022-03-22
申请号：CN202210159700.X
申请日：2022-02-22
Applicant: 之江实验室
IPC: G06F40/253 , G06F40/284 , G06K9/62
Abstract: 一种基于元算子融合的多平台算子智能化开发系统及方法，包括：初始化器、元算子库预处理器、算子模板生成器、融合规则迭代器、算子融合器、调度策略优化器；初始化器：用于获取系统中内置的融合规则库和对应的元算子接口声明，然后将元算子接口声明转发到元算子库预处理器，将融合规则库转发到融合规则迭代器；由于算子融合器能够根据融合规则和对应的目标平台元算子，来生成目标平台的算子代码，和融合规则平台无关且易于描述，元算子的逻辑比较简单而且可以复用于多个算子。因此，本发明降低了算子开发的工程量和开发难度，且用户需要开发的算子越多，需要适配的平台越多，本发明的效果越明显。
-
公开(公告)号：CN114218929B
公开(公告)日：2022-05-17
申请号：CN202210159700.X
申请日：2022-02-22
Applicant: 之江实验室
IPC: G06F40/253 , G06F40/284 , G06K9/62
Abstract: 一种基于元算子融合的多平台算子智能化开发系统及方法，包括：初始化器、元算子库预处理器、算子模板生成器、融合规则迭代器、算子融合器、调度策略优化器；初始化器：用于获取系统中内置的融合规则库和对应的元算子接口声明，然后将元算子接口声明转发到元算子库预处理器，将融合规则库转发到融合规则迭代器；由于算子融合器能够根据融合规则和对应的目标平台元算子，来生成目标平台的算子代码，和融合规则平台无关且易于描述，元算子的逻辑比较简单而且可以复用于多个算子。因此，本发明降低了算子开发的工程量和开发难度，且用户需要开发的算子越多，需要适配的平台越多，本发明的效果越明显。
-
公开(公告)号：CN113824802B
公开(公告)日：2022-04-01
申请号：CN202111398769.X
申请日：2021-11-24
Applicant: 之江实验室
Abstract: 本发明公开了一种去中心化分布式训练拓扑结构，包括：所述拓扑结构为n维超方形拓扑结构，是封闭的、紧致的、凸的无向图，所述拓扑结构由有限非空节点集合和有限边集合组成，所述拓扑结构的1维骨架是由一群在其所在空间对准每个维度整齐排列的等长的线段组成的，其中相对的线段互相平行，而相交于一点的线段则互相正交，本发明聚焦于去中心化分布式性能训练，将训练任务“均匀化”，将训练任务负荷均匀地分配到分布式训练系统中各个训练节点上，系统性能不再取决于单一训练节点性能，具有迭代耗时短，数据本地化，通信有效性高的优点。
-
-
-
Search Results
4
records
(took 0.015 seconds)
