公开(公告)号：CN118378099A

公开(公告)日：2024-07-23

申请号：CN202410612144.6

申请日：2024-05-16

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 甘淳井 ,  杨丹 ,  胡斌斌 ,  张涵笑 ,  李思远 ,  刘子奇 ,  申月 ,  鞠林 ,  张志强 ,  顾进杰 ,  梁磊 ,  周俊

IPC: G06F18/22 ,  G06F18/25 ,  G06F18/214 ,  G06F40/20 ,  G06F16/38 ,  G06N3/042 ,  G06N3/08

Abstract: 本说明书实施例提供一种针对自然语言处理模型的数据召回方法及装置，针对待通过自然语言模型处理的第一信息，可以对其进行数据召回的预处理，以将召回的文本与第一信息一起经由自然语言处理模型进行处理，得到相应业务处理结果。在数据召回过程中，可以先从数据库中检索与第一信息相匹配的若干文本作为候选文本，然后利用预先训练的效用模型对各个候选文本进行有效性评估，以得到各个候选文本分别对应的各个效用分数，再针对各个候选文本，分别基于相应相似度和效用分数的融合得到相应的融合分数，并根据各个融合分数从候选文本中筛选出目标文本作为召回数据。如此，可以有效节约计算成本。

公开(公告)号：CN120046685A

公开(公告)日：2025-05-27

申请号：CN202510213820.7

申请日：2025-02-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐宽 ,  刘佳 ,  温祖杰 ,  江沛杰 ,  赵海林 ,  史可 ,  赵前 ,  蔡名红 ,  张涵笑

IPC: G06N3/084 ,  G06N3/0985

Abstract: 本说明书实施例涉及训练大语言模型的方法及装置，方法包括：首先，通过将目标批次的训练样本输入所述大语言模型，确定目标训练轮次的过程数据，所述训练样本包括文本数据，所述过程数据包括训练损失值或各个参数的梯度值；然后，获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值；接下来，当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时，将所述目标训练轮次确定为异常训练轮次；最后，对所述异常训练轮次进行目标处理；所述目标处理包括跳过所述异常训练轮次，或者调整所述异常训练轮次中的超参数，以降低该异常训练轮次的影响。

公开(公告)号：CN117556273B

公开(公告)日：2024-04-05

申请号：CN202410016072.9

申请日：2024-01-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐富荣 ,  张涵笑 ,  郭清沛 ,  杨铭

IPC: G06F18/22 ,  G06F18/213 ,  G06N3/063

Abstract: 本说明书实施例提供了一种通过多图形处理器计算对比损失的方法和装置，该方法包括：通过划分为M个处理器组的N个图形处理器处理目标批次样本的特征，其中，每个处理器组包括一至多个图形处理器，每个图形处理器分别处理目标批次样本包含的至少一个样本的特征；各个处理器组分别确定处理器组包含的图形处理器处理的特征之间的局部特征相似度，并将局部特征相似度保存到处理器组包括的图形处理器的对应显存中；分别根据各个处理器组包括的图形处理器的对应显存中保存的局部特征相似度，确定各个处理器组对应的分组对比损失；根据各个处理器组对应的分组对比损失，确定整体对比损失。

公开(公告)号：CN119829285A

公开(公告)日：2025-04-15

申请号：CN202411899717.4

申请日：2024-12-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张涵笑 ,  鞠林 ,  武潺 ,  黄锦静 ,  肖又少 ,  周正磊 ,  范知名 ,  郇兆鑫 ,  李思远 ,  孟繁壮 ,  梁磊 ,  张晓露 ,  周俊

IPC: G06F9/50 ,  G06N20/00

Abstract: 本说明书的实施例涉及用于确定模型训练的分片策略的方法和相关装置，模型可通过多种分片策略进行训练。该方法首先确定多个处理器在训练模型的过程中的运算时间，其中多个处理器可以根据分片策略进行划分，分片策略指示模型的数据在多个处理器中的划分方式。然后，基于分片策略，确定多个处理器在训练模型的过程中的通信时间。进一步，选择运算时间和通信时间中的较大者，并在该较大者满足时间条件时确定分片策略为多个分片策略中的目标分片策略。

公开(公告)号：CN117556273A

公开(公告)日：2024-02-13

申请号：CN202410016072.9

申请日：2024-01-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐富荣 ,  张涵笑 ,  郭清沛 ,  杨铭

IPC: G06F18/22 ,  G06F18/213 ,  G06N3/063

Abstract: 本说明书实施例提供了一种通过多图形处理器计算对比损失的方法和装置，该方法包括：通过划分为M个处理器组的N个图形处理器处理目标批次样本的特征，其中，每个处理器组包括一至多个图形处理器，每个图形处理器分别处理目标批次样本包含的至少一个样本的特征；各个处理器组分别确定处理器组包含的图形处理器处理的特征之间的局部特征相似度，并将局部特征相似度保存到处理器组包括的图形处理器的对应显存中；分别根据各个处理器组包括的图形处理器的对应显存中保存的局部特征相似度，确定各个处理器组对应的分组对比损失；根据各个处理器组对应的分组对比损失，确定整体对比损失。