公开(公告)号：CN119597469A

公开(公告)日：2025-03-11

申请号：CN202411656715.2

申请日：2024-11-19

Applicant: 杭州高新区(滨江)区块链与数据安全研究院 ,  浙江大学

Inventor： 汪懿桢 ,  汪睿 ,  伍赛 ,  袁巩生 ,  姚畅 ,  唐秀 ,  杨智慧

IPC: G06F9/50 ,  G06N3/084 ,  G06T1/20 ,  G06N3/0499

Abstract: 本申请涉及一种资源受限的大模型异构训练方法、计算机设备和存储介质，方法包括：在图像处理器进行模型前向传播时生成的激活量中，根据与各激活量对应的计算量之间的依赖关系和/或各激活量的计算量与存储量确定第一激活量，并将第一激活量异步传输至中央处理器；在模型反向传播过程中从中央处理器加载第一激活量至图像处理器；获取图像处理器基于第一激活量计算得到模型参数的梯度，将梯度异步传输至中央处理器；确定中央处理器中基于梯度更新得到的优化器，并获取更新后的优化器调整得到的模型参数，将模型参数异步传输至图像处理器。采用本方法能够解决显存资源受限的大模型训练困难且显卡计算效率低的问题。