资源受限的大模型异构训练方法、计算机设备和存储介质

    公开(公告)号:CN119597469A

    公开(公告)日:2025-03-11

    申请号:CN202411656715.2

    申请日:2024-11-19

    Abstract: 本申请涉及一种资源受限的大模型异构训练方法、计算机设备和存储介质,方法包括:在图像处理器进行模型前向传播时生成的激活量中,根据与各激活量对应的计算量之间的依赖关系和/或各激活量的计算量与存储量确定第一激活量,并将第一激活量异步传输至中央处理器;在模型反向传播过程中从中央处理器加载第一激活量至图像处理器;获取图像处理器基于第一激活量计算得到模型参数的梯度,将梯度异步传输至中央处理器;确定中央处理器中基于梯度更新得到的优化器,并获取更新后的优化器调整得到的模型参数,将模型参数异步传输至图像处理器。采用本方法能够解决显存资源受限的大模型训练困难且显卡计算效率低的问题。

    多智能体代理的数据库内的机器学习特征生成方法

    公开(公告)号:CN119151016A

    公开(公告)日:2024-12-17

    申请号:CN202411650247.8

    申请日:2024-11-19

    Abstract: 本申请涉及一种多智能体代理的数据库内的机器学习特征生成方法,包括:根据历史特征集合在数据库内的机器学习模型中的性能指标,确定第一特征集合和第一特征集合的特征描述;根据机器学习任务和历史特征集合,得到第一特征集合对应的特征提示;获取数据库内的大语言模型根据第一特征集合、特征描述和特征提示生成的新特征,并结合第一特征集合和新特征得到第二特征集合;根据历史特征集合和第二特征集合在机器学习模型中的性能指标,确定第三特征集合;分解第三特征集合,直至分解得到的特征集合与第三特征集合匹配,根据分解结果得到执行机器学习任务所需的第四特征集合。采用本方法能够解决数据库内执行机器学习任务困难且准确性低的问题。

    面向代理模型的推理查询重优化方法、装置、设备和介质

    公开(公告)号:CN119149588A

    公开(公告)日:2024-12-17

    申请号:CN202411639951.3

    申请日:2024-11-18

    Abstract: 本申请涉及一种面向代理模型的推理查询重优化方法、装置、设备和介质,通过基于第一查询计划,将当前批次数据输入至推理模型进行处理,得到所需查询的数据;其中,推理模型包括代理模型和机器学习模型;在执行第一查询计划的过程中,监测统计信息;其中,统计信息包括系统资源或者查询计划选择率;在监测到统计信息的变化超出阈值的情况下,基于第二查询计划,将历史数据输入至代理模型进行重训练;其中,历史数据包括在当前批次数据之前输入至推理模型处理后携带上标签的数据;减小了重优化推理查询方法产生的计算开销,提升了重优化效率。

    基于拆分学习的私有化大模型微调训练方法和装置

    公开(公告)号:CN119598509A

    公开(公告)日:2025-03-11

    申请号:CN202411650255.2

    申请日:2024-11-19

    Abstract: 本申请涉及一种基于拆分学习的私有化大模型微调训练方法和装置,其中,该方法包括:将预训练的大模型拆分成头部模型段、中间模型段以及尾部模型段;将原始数据拆分成隐私数据和非隐私数据;根据隐私数据和非隐私数据,协同训练客户端中的头部模型段和尾部模型段,及服务器中的第一中间模型段和第二中间模型段,得到目标大模型;其中,在协同训练过程中,同态加密客户端和服务器之间传输的与隐私数据相关的隐私中间激活量;目标大模型输出关于特定主题的文档答复。通过本申请,解决了相关技术中需要向服务器传输中间激活量,存在通过模型反演攻击推测或恢复原始数据的风险的问题;实现对隐私数据的保护,降低隐私数据泄露的风险。

    多智能体代理的数据库内的机器学习特征生成方法

    公开(公告)号:CN119151016B

    公开(公告)日:2025-05-13

    申请号:CN202411650247.8

    申请日:2024-11-19

    Abstract: 本申请涉及一种多智能体代理的数据库内的机器学习特征生成方法,包括:根据历史特征集合在数据库内的机器学习模型中的性能指标,确定第一特征集合和第一特征集合的特征描述;根据机器学习任务和历史特征集合,得到第一特征集合对应的特征提示;获取数据库内的大语言模型根据第一特征集合、特征描述和特征提示生成的新特征,并结合第一特征集合和新特征得到第二特征集合;根据历史特征集合和第二特征集合在机器学习模型中的性能指标,确定第三特征集合;分解第三特征集合,直至分解得到的特征集合与第三特征集合匹配,根据分解结果得到执行机器学习任务所需的第四特征集合。采用本方法能够解决数据库内执行机器学习任务困难且准确性低的问题。

    异构系统的模型并行训练方法、装置和计算机设备

    公开(公告)号:CN119536983A

    公开(公告)日:2025-02-28

    申请号:CN202411345113.5

    申请日:2024-09-25

    Abstract: 本申请涉及一种异构系统的模型并行训练方法、装置和计算机设备,其中,该方法包括:在每个预设条件下,构建待训练模型与各计算设备之间的多种映射关系,并生成策略集合;预设条件包括训练数据的批次大小、待训练模型对应的流水线并行粒度和每个计算设备的预设显存预算;遍历各预设条件,通过动态规划算法对不同的映射关系和策略集合中的各候选策略进行处理,得到当前最优的模型并行训练策略下异构系统的执行成本;基于最小执行成本对应的模型并行训练策略,通过各计算设备执行模型训练。通过本申请,解决了采用固定处理器进行训练,无法利用异构系统中多个计算设备实现高效的并行训练的问题,实现高效的模型并行训练,提升计算设备的资源利用率。

Patent Agency Ranking