公开(公告)号：CN115168402A

公开(公告)日：2022-10-11

申请号：CN202210800826.0

申请日：2022-07-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐宽 ,  王勇博 ,  王子豪 ,  温祖杰

IPC: G06F16/2452 ,  G06F40/151 ,  G06N3/08 ,  G06N3/04

Abstract: 本说明书实施例提供一种训练序列生成模型的方法和装置。根据该方法，首先获取原始训练样本，其中包括：通过自然语言对目标数据表进行查询的第一语句，目标数据表的元数据，以及作为数据查询语言的第二语句。然后根据预设的概率，对训练样本施加预定的若干种加噪操作，其中任意一种加噪操作至少包括，对第一语句和第二语句之一进行修改，由此生成加噪样本，其中包括源语句，目标元数据和目标语句。于是，基于源语句和目标元数据形成输入序列，利用序列生成模型处理输入序列，得到输出序列；并根据输出序列和目标语句，更新上述序列生成模型。

公开(公告)号：CN120046685A

公开(公告)日：2025-05-27

申请号：CN202510213820.7

申请日：2025-02-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐宽 ,  刘佳 ,  温祖杰 ,  江沛杰 ,  赵海林 ,  史可 ,  赵前 ,  蔡名红 ,  张涵笑

IPC: G06N3/084 ,  G06N3/0985

Abstract: 本说明书实施例涉及训练大语言模型的方法及装置，方法包括：首先，通过将目标批次的训练样本输入所述大语言模型，确定目标训练轮次的过程数据，所述训练样本包括文本数据，所述过程数据包括训练损失值或各个参数的梯度值；然后，获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值；接下来，当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时，将所述目标训练轮次确定为异常训练轮次；最后，对所述异常训练轮次进行目标处理；所述目标处理包括跳过所述异常训练轮次，或者调整所述异常训练轮次中的超参数，以降低该异常训练轮次的影响。

公开(公告)号：CN120068972A

公开(公告)日：2025-05-30

申请号：CN202510225377.5

申请日：2025-02-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 江沛杰 ,  刘佳 ,  温祖杰 ,  徐宽 ,  赵海林

IPC: G06N3/08 ,  G06F17/16 ,  G06F18/214 ,  G06N3/045

Abstract: 本说明书实施例提供一种训练大语言模型的方法，该方法包括：获取输出层的目标参数矩阵，其通过对输出层在上一批次训练得到的原始参数矩阵进行归一化处理而得到。通过目标参数矩阵，对输出层的输入向量进行映射处理，得到映射到预设的词表空间的输出结果，该输入向量与输入文本相对应。在得到当前批次包含的各个微批次中各个输入文本对应的输出结果后，确定目标参数梯度，利用目标参数梯度更新原始参数矩阵。

公开(公告)号：CN119990374A

公开(公告)日：2025-05-13

申请号：CN202510072358.3

申请日：2025-01-16

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘佳 ,  徐宽 ,  江沛杰 ,  赵海林 ,  史可

IPC: G06N20/20 ,  G06F9/50

Abstract: 本说明书一个或多个实施例提供了一种混合专家模型的数据路由方法及装置，其获取混合专家模型对于待路由数据的原始路由矩阵；该原始路由矩阵中各个元素为混合专家模型中各个专家子模型对于待路由数据的原始路由参数；在当前训练步数不大于预设步数的情况下，也即在模型训练初期，不再直接根据原始路由矩阵对待路由数据进行路由，而是先根据原始路由矩阵确定对应的随机路由矩阵；该随机路由矩阵中各个元素为与各个所述原始路由参数对应的随机路由参数；然后根据该随机路由矩阵对待路由数据进行路由，以确定将待路由数据输入哪一个或几个专家子模型。

公开(公告)号：CN116069920A

公开(公告)日：2023-05-05

申请号：CN202310024565.2

申请日：2023-01-06

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王勇博 ,  徐宽 ,  王永亮 ,  朱海勇 ,  陆鑫 ,  邓宏 ,  杨帆 ,  郑艳兰 ,  王珺

IPC: G06F16/335 ,  G06F16/33 ,  G06F40/30

Abstract: 本说明书公开了一种实体查询方法、装置、计算机程序产品、存储介质及设备，其中方法包括：获取用户针对目标事务所输入的查询文本，对查询文本进行语义解析处理，得到查询文本对应的语义实体、语义实体在实体数据库中对应的实体类别以及语义实体与实体类别的对应关系，基于语义实体、实体类别以及对应关系生成查询文本对应的查询语句，基于查询语句在实体数据库中查询得到查询文本对应的隐含事务实体。