公开(公告)号：CN119938407A

公开(公告)日：2025-05-06

申请号：CN202510024249.4

申请日：2025-01-07

Applicant: 北京邮电大学

Inventor： 李士刚 ,  王菁精 ,  王雪莹 ,  黄勇华 ,  丁嘉豪 ,  马志

IPC: G06F11/14 ,  G06N3/063 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明提供一种大模型训练容错方法、系统、介质及程序产品，方法在三维分布式并行系统上执行，系统将目标大模型训练过程的参数按照数据并行、张量并行和流水线并行划分到多个GPU上并获得包含各GPU负责的模型参数和优化器状态参数的多个检查点分区；获取目标大模型当前训练批次中的多个流水线空泡时间，将前一轮训练批次中的各GPU的检查点分区作为自身检查点分区并从GPU传输至对应CPU双缓冲区的一个缓冲区，并将另一个缓冲区中的自身检查点分区写入远程持久化存储后交换两个缓冲区的用途；将多个进程构建为二维通信拓扑图并对CPU中自身检查点分区分块，多个检查点分块上的邻居进程收集操作插入到多个流水线空泡时间，利用系统空闲时间进行检查点备份。

公开(公告)号：CN120069097A

公开(公告)日：2025-05-30

申请号：CN202510542935.0

申请日：2025-04-28

Applicant: 北京邮电大学

Inventor： 李士刚 ,  陈家豪 ,  董景坤 ,  马志 ,  吴小飞

IPC: G06N5/04

Abstract: 本申请提供‌MoE稀疏大模型的分阶段混合并行推理方法及系统，涉及特定计算模型系统技术领域，方法包括：在预填充阶段控制MoE稀疏大模型逐层执行：在获取提示数据序列的各字符的专家号的同时，向各设备添加基于张量并行策略运行的第一混合专家层模型参数；再基于各设备中的基于专家并行策略运行的第二混合专家层模型参数进行专家并行计算；将字符恢复至设备初始位置并释放第二混合专家层模型参数；将模型最后层输出的预测字符发送至首个层以用于根据预测字符和各设备中的第一混合专家层模型参数执行解码阶段的推理。本申请能够解决现有‌MoE稀疏大模型推理技术采用的并行策略对预填充阶段以及解码阶段的适配性较差且通信开销较大的问题。

公开(公告)号：CN120050188A

公开(公告)日：2025-05-27

申请号：CN202510190017.6

申请日：2025-02-20

Applicant: 北京邮电大学

Inventor： 王雪莹 ,  李士刚 ,  马志 ,  董景坤 ,  陈家豪

IPC: H04L41/14 ,  H04L67/10 ,  H04L1/00

Abstract: 本申请公开了一种多模态大模型的端云协同部署方法、设备、介质及产品，涉及多模态大模型部署领域，包括：云侧计算机获取待部署多模态大模型，根据待部署多模态大模型，确定优化后的编码模型和对应的切分候选点发送至端侧计算机；端侧计算机获取多模态数据，利用优化后的编码模型对多模态数据进行编码处理，得到中间数据和切分点位置信息；端侧计算机将中间数据和切分点位置信息进行压缩打包，并通过传输路径发送至云侧计算机，以利用处理模型对中间数据进行计算处理，得到计算结果，发送至端侧计算机，以利用解码模型对所述计算结果进行解码，并转换为输出格式，得到处理后的多模态数据。本申请能够动态调整计算任务的分配，提高推理效率。

公开(公告)号：CN119556935A

公开(公告)日：2025-03-04

申请号：CN202411710550.2

申请日：2024-11-27

Applicant: 北京邮电大学

Inventor： 王雪莹 ,  李士刚 ,  付容天 ,  王菁精 ,  姚文斌 ,  马志

IPC: G06F8/41 ,  G06N3/0464 ,  G06N3/063 ,  G06N3/08

Abstract: 本申请公开了一种多层卷积算子融合优化方法、装置、设备、介质及产品，涉及编译优化技术领域，该方法包括：确定待部署模型的原始计算图，基于硬件性能模型，确定原始计算图中的多个可融合算子子图；基于可融合算子子图优化原始计算图，得到优化计算图；基于优化计算图和分片尺寸，得到待部署模型的并行优化代码；目标机器运行并行优化代码，得到待部署模型的优化性能；本申请通过基于可融合算子子图优化原始计算图，能够提高目标机器执行神经网络模型时的性能。