加速大模型训练任务的异构智能算力优化管理调度系统

    公开(公告)号:CN119166298A

    公开(公告)日:2024-12-20

    申请号:CN202411189911.3

    申请日:2024-08-28

    Inventor: 李锐 杨基明

    Abstract: 本发明提供了加速大模型训练任务的异构智能算力优化管理调度系统,包括:通过算法和框架实测获取异构智能算力设备性能,将其以性能最高的算力设备做为参照标准折算系数来进行资源描述管理,形成异构智能算力资源拓扑;同时提供一种并行方法,将异构智能算力资源以一种创新方式进行组织,该并行方法包括两层,第一层将低性能算力节点组合为等效高性能节点,以达到增加智能算力节点数量的效果,第二层是在等效高性能节点内部的多个低性能节点之间再做并行计算,保障该等效高性能节点的处理结果不低于参照的高性能算力节点。通过增加智能算力节点可以让并行计算减少单个节点的计算量,缩短处理时间,最终达到加速大模型训练任务的目的。

Patent Agency Ranking