公开(公告)号：CN120068972A

公开(公告)日：2025-05-30

申请号：CN202510225377.5

申请日：2025-02-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 江沛杰 ,  刘佳 ,  温祖杰 ,  徐宽 ,  赵海林

IPC: G06N3/08 ,  G06F17/16 ,  G06F18/214 ,  G06N3/045

Abstract: 本说明书实施例提供一种训练大语言模型的方法，该方法包括：获取输出层的目标参数矩阵，其通过对输出层在上一批次训练得到的原始参数矩阵进行归一化处理而得到。通过目标参数矩阵，对输出层的输入向量进行映射处理，得到映射到预设的词表空间的输出结果，该输入向量与输入文本相对应。在得到当前批次包含的各个微批次中各个输入文本对应的输出结果后，确定目标参数梯度，利用目标参数梯度更新原始参数矩阵。

公开(公告)号：CN120046685A

公开(公告)日：2025-05-27

申请号：CN202510213820.7

申请日：2025-02-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐宽 ,  刘佳 ,  温祖杰 ,  江沛杰 ,  赵海林 ,  史可 ,  赵前 ,  蔡名红 ,  张涵笑

IPC: G06N3/084 ,  G06N3/0985

Abstract: 本说明书实施例涉及训练大语言模型的方法及装置，方法包括：首先，通过将目标批次的训练样本输入所述大语言模型，确定目标训练轮次的过程数据，所述训练样本包括文本数据，所述过程数据包括训练损失值或各个参数的梯度值；然后，获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值；接下来，当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时，将所述目标训练轮次确定为异常训练轮次；最后，对所述异常训练轮次进行目标处理；所述目标处理包括跳过所述异常训练轮次，或者调整所述异常训练轮次中的超参数，以降低该异常训练轮次的影响。

公开(公告)号：CN119990374A

公开(公告)日：2025-05-13

申请号：CN202510072358.3

申请日：2025-01-16

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘佳 ,  徐宽 ,  江沛杰 ,  赵海林 ,  史可

IPC: G06N20/20 ,  G06F9/50

Abstract: 本说明书一个或多个实施例提供了一种混合专家模型的数据路由方法及装置，其获取混合专家模型对于待路由数据的原始路由矩阵；该原始路由矩阵中各个元素为混合专家模型中各个专家子模型对于待路由数据的原始路由参数；在当前训练步数不大于预设步数的情况下，也即在模型训练初期，不再直接根据原始路由矩阵对待路由数据进行路由，而是先根据原始路由矩阵确定对应的随机路由矩阵；该随机路由矩阵中各个元素为与各个所述原始路由参数对应的随机路由参数；然后根据该随机路由矩阵对待路由数据进行路由，以确定将待路由数据输入哪一个或几个专家子模型。