-
公开(公告)号：CN115062771A
公开(公告)日：2022-09-16
申请号：CN202210981014.0
申请日：2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式机器学习梯度汇聚方法、装置及模型训练方法，利用智能交换机进行计算节点梯度汇聚任务调度和模型训练。智能交换机不仅包含正常的网络交换功能，还能对梯度数据包进行解析，抽取包内数据并进行计算，并将结果重新组包发送给相关计算服务器，提供更为高效的数据交换服务。智能交换机将多台计算服务器连接起来组成训练网络，共同完成神经网络模型训练任务。本发明实现分布式机器学习训练，可优化梯度汇聚时间，减少梯度交换流量，加速大模型训练。
-
公开(公告)号：CN113031966A
公开(公告)日：2021-06-25
申请号：CN202110551554.0
申请日：2021-05-20
Applicant: 之江实验室
Abstract: 本发明公开了一种智能选择编译加速库的深度学习编译优化方法，目的是通过在深度学习编译器中加入编译加速库，结合深度学习编译器与编译加速库双方各自的优点，进一步提高深度神经网络的推理速度。该方法首先在深度学习编译器中加入各种算子针对编译加速库的翻译方法，将各种算子自动转换为编译加速库可以识别的形式。其次提出一种在深度学习编译器中调用编译加速库的方法，实现通过编译加速库执行各种算子。然后在深度学习编译器算子优化阶段将优化效果与编译加速库进行比较，进行最优方案选择。最后提出一种深度学习编译器中结合编译加速库的代码生成方法，产生优化后的可执行代码，实现对深度神经网络的进一步优化。
-
公开(公告)号：CN112579063A
公开(公告)日：2021-03-30
申请号：CN202110223874.3
申请日：2021-03-01
Applicant: 之江实验室
Abstract: 本发明公开了一种用于深度学习编译器中探索优化空间的加速方法，目的是通过编译技术优化神经网络效果，并大幅减少编译器探索算子优化空间的耗时。该方法首先将神经网络抽象成计算图的形式。其次对计算图进行图优化，并为优化后计算图中的每个算子定义优化空间。然后基于包含优化空间信息的算子，提出一种优化空间相似度计算方法。最后提出一种基于相似度的算子状态空间探索方法，基于相似度对算子进行聚类，对每一个聚类中的核心算子进行全空间探索，同类的其余算子在核心算子最优方案中进行探索，确定整个神经网络每个算子的优化方案。
-
-
Search Results
43
records
(took 0.02 seconds)
