-
公开(公告)号：CN119781994A
公开(公告)日：2025-04-08
申请号：CN202510282611.8
申请日：2025-03-11
Applicant: 浙江大学
Abstract: 本发明公开了一种模型分布式训练显存优化方法、系统及可读存储介质，包括：获取模型第一轮训练过程中每个算子的参数量和访问顺序，对算子进行唯一性编号后生成执行顺序图并存储；对每个算子进行均匀切分，并记录分片映射关系；在训练过程中，根据算子的执行顺序，通过计算设备获取最初运行算子的完整参数；进行当前算子的计算，并根据算子的执行顺序图，通过异步通信预取即将运行的下一个算子的参数；在当前算子执行完毕后，仅保留原始的部分算子参数，并释放其余部分的算子参数；同步算子参数通信，验证分片参数的完整性后执行训练迭代，循环上述过程直至训练完成。利用本发明，可以在降低单个计算设备显存占用的同时，保证模型的高效训练。
Search Results
1
records
(took 0.012 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
