-
公开(公告)号:CN111324738B
公开(公告)日:2020-08-28
申请号:CN202010409780.0
申请日:2020-05-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的实施例公开了一种确定文本标签的方法和系统,所述方法包括:获取文本,所述文本对应至少一个候选标签;基于文本和至少一个候选标签中的一个组成文本标签对;将文本标签对输入判断模型,所述判断模型包含至少一个交互模型,判断模型基于交互模型输出的文本标签对中候选标签的交互编码,确定候选标签是否为文本的真实标签;其中,所述交互模型包含第一编码模型,所述第一编码模型基于第一多头注意力机制,得到候选标签的交互编码;其中:文本的编码作为第一多头注意力机制中计算K和V的输入,候选标签的编码作为第一多头注意力机制中计算Q的输入。
-
公开(公告)号:CN111198949B
公开(公告)日:2020-07-31
申请号:CN202010276658.0
申请日:2020-04-10
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35 , G06F40/284 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种文本标签确定方法和系统。该方法包括:获取待分析文本;将所述待分析文本向量化后得到文本向量,并存入记忆组件;将候选标签向量化以确定查询向量;基于所述查询向量和所述记忆组件中的文本向量确定关系向量;基于所述关系向量通过分类模型判断所述候选标签是否为所述待分析文本的标签。
-
公开(公告)号:CN111340233A
公开(公告)日:2020-06-26
申请号:CN202010104680.7
申请日:2020-02-20
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种机器学习模型的训练方法,该方法包括:基于获取的原始样本集,对执行相同任务的多个预测模型进行多轮训练,得到多个训练后模型。其中任一轮训练具体包括:先对原始样本集进行采样,得到若干原始样本,其中包括任意的第一原始样本,此样本中包括第一样本特征和第一样本标签;接着将第一样本特征分别输入多个预测模型中,得到多个第一预测结果;然后至少基于多个第一预测结果和第一样本标签,确定出现频次最高的第一最高频结果;进一步地,在第一最高频结果唯一的情况下,利用该结果对所述第一样本标签进行修正,得到第一修正样本;再接着利用根据所述若干原始样本得到的若干修正样本,分别训练所述多个预测模型。
-
公开(公告)号:CN111079574A
公开(公告)日:2020-04-28
申请号:CN201911202734.7
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N层神经网络,第K层神经网络输出第一概率分布,第N层神经网络输出第二概率分布;其中,N大于K,N和K为大于0的整数;根据所述第一概率分布与所述第二概率分布,确定第一反馈信号;根据所述第一反馈信号调节1~K层神经网络的参数,使得所述1~K层神经网络学习所述第N层神经网络输出的第二概率分布,得到训练好的K层神经网络。
-
公开(公告)号:CN111008263A
公开(公告)日:2020-04-14
申请号:CN201911203440.6
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33 , G06F16/332
Abstract: 本说明书实施例提供一种问答匹配模型的更新方法和装置,方法包括:获取第一训练样本,包括第一候选知识点、第一样本问句及对应的第一匹配标签;利用第一训练样本,离线训练目标评分引擎,用已训练的线下版本更新对应的线下测试版本;当得到多个评分引擎分别对应的线下测试版本时,获取第二训练样本,包括第二样本问句、第一候选知识点集合,及对应的第一排序标签;利用第二训练样本,基于多个评分引擎的线下测试版本,离线训练决策引擎,以得到已训练的线下版本的决策引擎;将线上版本的各评分引擎更新为对应的线下测试版本,并将线上版本的决策引擎更新为已训练的线下版本的决策引擎。更新效率高。
-
公开(公告)号:CN110990548A
公开(公告)日:2020-04-10
申请号:CN201911206271.1
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06Q30/00 , G06Q30/02 , G06N20/00
Abstract: 本说明书实施例提供一种强化学习模型的更新方法和装置。强化学习模型包括第一动作价值网络和第二动作价值网络,分别承担第一比例和第二比例的线上流量,第一比例大于第二比例,方法包括:接收线上的当前问句;以当前问句作为当前状态,利用第一动作价值网络或利用第二动作价值网络得到当前状态对应的动作,以及相应的得到当前状态、动作、奖励和更新状态作为一条记录,将该条记录以一定概率存储;抽取记录,根据该记录对第二动作价值网络进行训练;当确定训练后的第二动作价值网络的效果优于第一动作价值网络时,将第一动作价值网络更新为训练后的第二动作价值网络。能够保证强化学习模型更新后的稳定性和质量。
-
公开(公告)号:CN110955766A
公开(公告)日:2020-04-03
申请号:CN201911210422.0
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F40/30 , G06F16/35
Abstract: 本说明书实施例公开了一种自动扩充智能客服标准问题对的方法和系统。所述自动扩充智能客服标准问题对的方法包括:基于人工客服日志数据确定至少一个候选问题,所述人工客服日志数据记录用户问题以及针对所述用户问题人工客服给出的回答;判断标准问题库是否包含所述至少一个候选问题,否则确定所述候选问题为标准问题;所述标准问题库包含至少一个标准问题对;基于所述人工客服日志数据确定所述标准问题的标准回答;将所述标准问题和所述标准回答作为标准问题对,所述标准问题对用于智能客服。
-
公开(公告)号:CN110516060B
公开(公告)日:2020-02-21
申请号:CN201911018680.9
申请日:2019-10-24
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F16/35 , B25J11/00
Abstract: 本说明书实施例提供用于确定问题答案的方法及装置。该方法由问答装置执行,该问答装置具备利用多个问答引擎进行问题答案确定的能力,多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层。在该方法中,使用召回模型层中的各个召回模型来分别获取问题的答案;将经由各个召回模型得到的答案提供给各个第一评价模型来分别进行评价,以得到各个答案的第一评价结果集,第一评价结果集包括基于各个第一评价模型得到的第一评价结果;针对各个答案,对所得到的第一评价结果集中的各个第一评价结果进行聚合处理,以得到该答案的第二评价结果;以及根据各个答案的第二评价结果进行答案评估,以确定问题的至少一个目标答案。
-
公开(公告)号:CN120046685A
公开(公告)日:2025-05-27
申请号:CN202510213820.7
申请日:2025-02-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/084 , G06N3/0985
Abstract: 本说明书实施例涉及训练大语言模型的方法及装置,方法包括:首先,通过将目标批次的训练样本输入所述大语言模型,确定目标训练轮次的过程数据,所述训练样本包括文本数据,所述过程数据包括训练损失值或各个参数的梯度值;然后,获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值;接下来,当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时,将所述目标训练轮次确定为异常训练轮次;最后,对所述异常训练轮次进行目标处理;所述目标处理包括跳过所述异常训练轮次,或者调整所述异常训练轮次中的超参数,以降低该异常训练轮次的影响。
-
公开(公告)号:CN111008263B
公开(公告)日:2023-06-09
申请号:CN201911203440.6
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33 , G06F16/332
Abstract: 本说明书实施例提供一种问答匹配模型的更新方法和装置,方法包括:获取第一训练样本,包括第一候选知识点、第一样本问句及对应的第一匹配标签;利用第一训练样本,离线训练目标评分引擎,用已训练的线下版本更新对应的线下测试版本;当得到多个评分引擎分别对应的线下测试版本时,获取第二训练样本,包括第二样本问句、第一候选知识点集合,及对应的第一排序标签;利用第二训练样本,基于多个评分引擎的线下测试版本,离线训练决策引擎,以得到已训练的线下版本的决策引擎;将线上版本的各评分引擎更新为对应的线下测试版本,并将线上版本的决策引擎更新为已训练的线下版本的决策引擎。更新效率高。
-
-
-
-
-
-
-
-
-