公开(公告)号：CN117875449A

公开(公告)日：2024-04-12

申请号：CN202410048420.0

申请日：2024-01-11

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋刚玮 ,  魏颖 ,  蒋才高 ,  薛思乔 ,  詹姆士·张 ,  郝鸿延 ,  冯晓云 ,  王言 ,  潘晨 ,  周俊

IPC: G06N20/00 ,  G06F40/20 ,  G06F40/126 ,  G06F16/35

Abstract: 本说明书的实施例提供了一种基于持续预训练的语言模型训练方法和装置。在该基于持续预训练的语言模型训练方法中，利用当前软提示生成模型得到与当前领域的各个当前训练样本对应的软提示特征；进而利用当前语言模型根据各个文本数据和对应的软提示特征得到各个文本数据对应于当前领域的隐特征；再基于所得到的各个文本数据对应于当前领域的隐特征与相应基于所述初始当前语言模型而得到的对应于上一领域的隐特征之间的差异，确定跨域损失值；在不满足当前领域的训练结束条件时根据跨域损失值调整当模型参数；在满足当前领域的训练结束条件时继续利用下一领域的训练样本集重复执行上述模型训练过程，直至满足持续预训练的训练结束条件。

公开(公告)号：CN118094130A

公开(公告)日：2024-05-28

申请号：CN202311501857.7

申请日：2023-11-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 薛思乔 ,  赵鸿宇 ,  解说 ,  郝鸿延 ,  冯晓云 ,  潘晨 ,  蒋刚玮 ,  蒋才高 ,  王言

IPC: G06F18/20 ,  G06F18/22 ,  G06N20/00 ,  G06Q10/04 ,  G06F123/02

Abstract: 本说明书实施例提供一种事件预测的方法及装置，在进行事件预测过程中，可以先利用点过程模型处理当前历史事件序列，以预测下一个事件在预定事件属性上的至少一个属性项作为候选项，然后，针对各个候选项，分别从历史事件序列中选择相应的历史事件作为证据事件，为其进行可信度打分，得到各个可信分数，然后根据各个候选项分别对应的各个可信分数的大小，确定下一个事件在事件属性上对应的属性项。该技术方案可以利用更加丰富的信息，提高事件预测的准确性。

公开(公告)号：CN117556342A

公开(公告)日：2024-02-13

申请号：CN202311504627.6

申请日：2023-11-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王言 ,  赵鸿宇 ,  解说 ,  薛思乔 ,  冯晓云 ,  蒋才高 ,  郝鸿延 ,  潘晨 ,  蒋刚玮

IPC: G06F18/2415 ,  G06F18/22 ,  G06F18/25 ,  G06F18/23 ,  G06N3/048 ,  G06N3/047 ,  G06Q10/04 ,  G06F123/02

Abstract: 本说明书实施例提供一种事件预测的方法及装置，通过构建提示词张量，将训练数据中的事件序列通过提示词张量中的键张量进行聚类，单个键张量可以对应描述相关任务类别的多个值张量。在进行事件预测时，可以将根据当前历史事件序列确定的当前时序嵌入张量与提示词集中的键张量进行匹配，从而确定相应的任务，并将相应任务中的键张量和值张量中的至少一项作为当前时序嵌入张量的扩展信息，与当前时序嵌入张量一起用于下一个事件的事件类型和/或发生时间的预测。这种实施方式可以避免事件预测过程中的灾难性遗忘问题。

公开(公告)号：CN117390446A

公开(公告)日：2024-01-12

申请号：CN202311369458.X

申请日：2023-10-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 郝鸿延 ,  解说 ,  赵鸿宇 ,  薛思乔 ,  王言 ,  潘晨 ,  冯晓云 ,  蒋才高 ,  蒋刚玮

IPC: G06F18/214 ,  G06F18/27

Abstract: 本说明书实施例提供业务模型训练方法及业务模型训练装置。在进行模型训练时，从业务模型的上一模型训练过程所使用的上一训练数据样本集中获取当前记忆训练数据样本集，所获取的当前记忆训练数据样本集是历史训练数据样本集的代表性训练数据样本集。随后，使用当前新训练数据样本和当前记忆训练数据样本集作为当前训练数据样本集来执行当前模型训练过程。

公开(公告)号：CN116011609A

公开(公告)日：2023-04-25

申请号：CN202211336706.6

申请日：2022-10-28

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 薛思乔 ,  师晓明 ,  蒋才高 ,  郝鸿延 ,  王言 ,  蒋刚玮

IPC: G06Q10/04 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/08 ,  G06F17/18

Abstract: 本说明书实施例提供一种训练时序预测模型，以及利用该模型进行预测的方法和装置，其中时序预测模型包括，自回归预测模型和能量计算模型。训练方法包括：获取标签行为序列，其中包括，用户在第一时段中的第一行为序列，以及在后续的第二时段中的行为序列。将第一行为序列输入自回归预测模型，得到对于第二时段中依次发生行为的概率分布信息。基于概率分布信息进行采样，得到N个采样行为序列，与第一行为序列拼接得到N个采样全序列。利用能量计算模型，确定标签行为序列的标签能量值，以及N个采样全序列各自的采样能量值。以目标函数的函数值趋于增大为目标，训练能量计算模型；其中目标函数与标签能量值负相关，与采样能量值正相关。

公开(公告)号：CN111311384A

公开(公告)日：2020-06-19

申请号：CN202010409777.9

申请日：2020-05-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 谭晓宇 ,  屈超 ,  蒋才高 ,  徐海瑞 ,  熊君武 ,  詹姆士·张

IPC: G06Q30/06 ,  G06F16/9535 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例公开了一种训练推荐模型方法和系统，方法包括：对于多个训练样本的每一个执行以下步骤，以迭代更新推荐模型的参数，得到训练好的推荐模型：利用推荐模型处理样本对象的当前时点状态，得到样本对象对应的推荐标的分布，并确定服从推荐标的分布的预测推荐标的；利用状态转移模型处理样本对象的当前时点状态以及预测推荐标的，得到样本对象的下一时点状态；计算样本对象的下一时点状态相关的收益；利用奖励模型处理样本对象的当前时点状态及预测推荐标的，得到预测奖励；确定所述推荐模型的目标函数，其中，推荐模型的目标函数至少与预测奖励以及样本对象的下一时点状态相关的收益正相关；调整推荐模型的参数，以使其目标函数最大化。