基于拆分学习的私有化大模型微调训练方法和装置

    公开(公告)号:CN119598509A

    公开(公告)日:2025-03-11

    申请号:CN202411650255.2

    申请日:2024-11-19

    Abstract: 本申请涉及一种基于拆分学习的私有化大模型微调训练方法和装置,其中,该方法包括:将预训练的大模型拆分成头部模型段、中间模型段以及尾部模型段;将原始数据拆分成隐私数据和非隐私数据;根据隐私数据和非隐私数据,协同训练客户端中的头部模型段和尾部模型段,及服务器中的第一中间模型段和第二中间模型段,得到目标大模型;其中,在协同训练过程中,同态加密客户端和服务器之间传输的与隐私数据相关的隐私中间激活量;目标大模型输出关于特定主题的文档答复。通过本申请,解决了相关技术中需要向服务器传输中间激活量,存在通过模型反演攻击推测或恢复原始数据的风险的问题;实现对隐私数据的保护,降低隐私数据泄露的风险。

    资源受限的大模型异构训练方法、计算机设备和存储介质

    公开(公告)号:CN119597469A

    公开(公告)日:2025-03-11

    申请号:CN202411656715.2

    申请日:2024-11-19

    Abstract: 本申请涉及一种资源受限的大模型异构训练方法、计算机设备和存储介质,方法包括:在图像处理器进行模型前向传播时生成的激活量中,根据与各激活量对应的计算量之间的依赖关系和/或各激活量的计算量与存储量确定第一激活量,并将第一激活量异步传输至中央处理器;在模型反向传播过程中从中央处理器加载第一激活量至图像处理器;获取图像处理器基于第一激活量计算得到模型参数的梯度,将梯度异步传输至中央处理器;确定中央处理器中基于梯度更新得到的优化器,并获取更新后的优化器调整得到的模型参数,将模型参数异步传输至图像处理器。采用本方法能够解决显存资源受限的大模型训练困难且显卡计算效率低的问题。

    面向代理模型的推理查询重优化方法、装置、设备和介质

    公开(公告)号:CN119149588A

    公开(公告)日:2024-12-17

    申请号:CN202411639951.3

    申请日:2024-11-18

    Abstract: 本申请涉及一种面向代理模型的推理查询重优化方法、装置、设备和介质,通过基于第一查询计划,将当前批次数据输入至推理模型进行处理,得到所需查询的数据;其中,推理模型包括代理模型和机器学习模型;在执行第一查询计划的过程中,监测统计信息;其中,统计信息包括系统资源或者查询计划选择率;在监测到统计信息的变化超出阈值的情况下,基于第二查询计划,将历史数据输入至代理模型进行重训练;其中,历史数据包括在当前批次数据之前输入至推理模型处理后携带上标签的数据;减小了重优化推理查询方法产生的计算开销,提升了重优化效率。

    异构系统的模型并行训练方法、装置和计算机设备

    公开(公告)号:CN119536983A

    公开(公告)日:2025-02-28

    申请号:CN202411345113.5

    申请日:2024-09-25

    Abstract: 本申请涉及一种异构系统的模型并行训练方法、装置和计算机设备,其中,该方法包括:在每个预设条件下,构建待训练模型与各计算设备之间的多种映射关系,并生成策略集合;预设条件包括训练数据的批次大小、待训练模型对应的流水线并行粒度和每个计算设备的预设显存预算;遍历各预设条件,通过动态规划算法对不同的映射关系和策略集合中的各候选策略进行处理,得到当前最优的模型并行训练策略下异构系统的执行成本;基于最小执行成本对应的模型并行训练策略,通过各计算设备执行模型训练。通过本申请,解决了采用固定处理器进行训练,无法利用异构系统中多个计算设备实现高效的并行训练的问题,实现高效的模型并行训练,提升计算设备的资源利用率。

    基于混合量子算法的路径优化方法、装置、计算机设备和存储介质

    公开(公告)号:CN119398289A

    公开(公告)日:2025-02-07

    申请号:CN202411268070.5

    申请日:2024-09-10

    Abstract: 本申请涉及一种基于混合量子算法的路径优化方法、装置、计算机设备和存储介质,其中,该方法包括:获取待优化路径的无向完全加权图的权重邻接矩阵;将权重邻接矩阵输入到预设的量子电路中进行优化,得到第一候选解和对应的第一权重;其中,在量子电路的编码与剪枝的优化过程中,将所有候选解划分为多个步骤;将旅行商在每个步骤中的选择,编码到量子电路中,执行相应的剪枝,以形成包含所有候选解的均匀叠加态;根据第一权重和预设的第一阈值,更新第一候选解,得到目标路径。通过本申请,解决了相关技术中路径规划的效率低下的问题,有效减少编码候选解所需的量子资源,实现在精确规划路径的同时,能够提高路径规划效率。

    一种利用关系型数据库管理系统存储多模型数据的方法

    公开(公告)号:CN118035365A

    公开(公告)日:2024-05-14

    申请号:CN202410248304.3

    申请日:2024-03-05

    Abstract: 本发明公开了一种利用关系型数据库管理系统存储多模型数据的方法。本发明方法的步骤包括:1)将多模型数据按属性存储:将多模型数据的各属性转化成若干属性表,第一列代表对象编号,第二列为一个属性;2)遗传算法寻优:使用遗传算法,选择属性表进行聚合,寻找使得查询速度最快的关系模式;3)提高存储效率:将查询速度相近的若干关系模式做比较,选择占用存储最少的关系模式。本发明首次提出了一种利用遗传算法的、将多模型数据存储在关系型数据库管理系统中的方法,本发明方法提升了查询效率并减少了空间消耗,优于现有方法,具有通用、简便等优点。

Patent Agency Ranking