公开(公告)号：CN114600097A

公开(公告)日：2022-06-07

申请号：CN202080035169.4

申请日：2020-08-27

Applicant: 清华大学

Inventor： 翟季冬 ,  师天麾 ,  翟明书 ,  徐懿

IPC: G06F16/901

Abstract: 子图匹配策略确定方法(100)、子图匹配方法、计数方法和装置，匹配策略确定方法(100)包括：获得模式图(S110)；对于模式图，生成多个限制集合，每个限制集合都能消除模式图的自同构中不同于模式图自身的所有其他自同构(S120)；对于模式图，获得多个搜索顺序方案；将所述多个限制集合和所述多个搜索顺序方案组合，每一种组合称为一个配置(S140)；使用性能预测模型对每个配置对应的子图匹配算法的计算量进行预测(S150)；基于预测得到的计算量，确定一个或多个配置作为子图匹配策略(S160)。所述方法能够确定优化的子图匹配策略，减少冗余计算，高效准确地找到匹配的子图。提出使用容斥原理直接计数以减少冗余计算的匹配子图计数方案，极大提高了计算效率。

公开(公告)号：CN116502680B

公开(公告)日：2023-09-19

申请号：CN202310789205.1

申请日：2023-06-30

Applicant: 清华大学

Inventor： 翟季冬 ,  翟明书 ,  何家傲

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了一种用于混合专家模型的并行训练方法及装置，属于深度学习技术领域，其中一实施例的并行训练方法包括：根据混合专家模型的配置信息和硬件信息，生成多组候选并行策略；在当前训练周期中，根据混合专家模型的当前负载情况，从多组候选并行策略中确定目标并行策略；确定在当前训练周期的上一个训练周期中所使用的历史并行策略；基于历史并行策略和目标并行策略中较优的一个，训练混合专家模型。本申请技术方案提供一种用于混合专家模型的自动并行训练方法，通过首先确定并行策略集合，并根据负载情况对并行策略进行切换，能够在引入专家策略的基础上有效解决负载均衡问题，提高对混合专家模型的并行训练效率。

公开(公告)号：CN116502680A

公开(公告)日：2023-07-28

申请号：CN202310789205.1

申请日：2023-06-30

Applicant: 清华大学

Inventor： 翟季冬 ,  翟明书 ,  何家傲

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了一种用于混合专家模型的并行训练方法及装置，属于深度学习技术领域，其中一实施例的并行训练方法包括：根据混合专家模型的配置信息和硬件信息，生成多组候选并行策略；在当前训练周期中，根据混合专家模型的当前负载情况，从多组候选并行策略中确定目标并行策略；确定在当前训练周期的上一个训练周期中所使用的历史并行策略；基于历史并行策略和目标并行策略中较优的一个，训练混合专家模型。本申请技术方案提供一种用于混合专家模型的自动并行训练方法，通过首先确定并行策略集合，并根据负载情况对并行策略进行切换，能够在引入专家策略的基础上有效解决负载均衡问题，提高对混合专家模型的并行训练效率。