-
公开(公告)号:CN111222344B
公开(公告)日:2023-07-18
申请号:CN202010006329.4
申请日:2020-01-03
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供训练神经网络的方法、装置及电子设备,其中一个方法包括:获取经情感标注的语料文本,其中,所述语料文本的情感极性被标注,以及所述语料文本中作为判断情感极性的依据的依据文本片段被标注;向基于注意力的神经网络输入语料文本;以及通过监督所述依据文本片段是否作为判断语料文本的依据而训练所述神经网络。
-
公开(公告)号:CN111291886B
公开(公告)日:2022-02-18
申请号:CN202010131424.7
申请日:2020-02-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08
Abstract: 本说明书实施例提供一种神经网络模型的融合训练方法及装置。通过神经网络模型的模型训练过程包括若干训练周期,每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程,神经网络模型用于对输入的业务数据进行业务预测。在当前的第一训练周期中,当第一训练周期不是第一个训练周期时,基于第一训练周期之前的训练周期训练结束时得到的神经网络模型对第一样本数据的预测数据的累积,而得到的第一目标预测数据,即根据第一目标预测数据对待训练神经网络模型的训练过程进行调整,更新待训练神经网络模型。
-
公开(公告)号:CN111079574A
公开(公告)日:2020-04-28
申请号:CN201911202734.7
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N层神经网络,第K层神经网络输出第一概率分布,第N层神经网络输出第二概率分布;其中,N大于K,N和K为大于0的整数;根据所述第一概率分布与所述第二概率分布,确定第一反馈信号;根据所述第一反馈信号调节1~K层神经网络的参数,使得所述1~K层神经网络学习所述第N层神经网络输出的第二概率分布,得到训练好的K层神经网络。
-
公开(公告)号:CN110955766A
公开(公告)日:2020-04-03
申请号:CN201911210422.0
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F40/30 , G06F16/35
Abstract: 本说明书实施例公开了一种自动扩充智能客服标准问题对的方法和系统。所述自动扩充智能客服标准问题对的方法包括:基于人工客服日志数据确定至少一个候选问题,所述人工客服日志数据记录用户问题以及针对所述用户问题人工客服给出的回答;判断标准问题库是否包含所述至少一个候选问题,否则确定所述候选问题为标准问题;所述标准问题库包含至少一个标准问题对;基于所述人工客服日志数据确定所述标准问题的标准回答;将所述标准问题和所述标准回答作为标准问题对,所述标准问题对用于智能客服。
-
公开(公告)号:CN111582500A
公开(公告)日:2020-08-25
申请号:CN202010375851.X
申请日:2020-05-07
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种提高模型训练效果的方法和系统,包括:获取多个训练样本,训练样本包括训练样本数据和样本标签;将训练样本输入学生模型和至少一个老师模型,分别得到第一处理结果和至少一个第二处理结果;老师模型来自老师模型集合;动态确定至少一个老师模型中每一个对训练样本的重要性,并基于重要性对至少一个第二处理结果进行计算,确定融合处理结果;基于第一处理结果、样本标签和融合处理结果确定学生模型的第一损失函数;基于第一损失函数对学生模型的参数进行更新,并将参数更新后的学生模型加入老师模型集合作为一个新的老师模型;迭代多次完成学生模型的训练;学生模型训练后用于处理语音、图像或者文本数据。
-
公开(公告)号:CN111291886A
公开(公告)日:2020-06-16
申请号:CN202010131424.7
申请日:2020-02-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08
Abstract: 本说明书实施例提供一种神经网络模型的融合训练方法及装置。通过神经网络模型的模型训练过程包括若干训练周期,每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程,神经网络模型用于对输入的业务数据进行业务预测。在当前的第一训练周期中,当第一训练周期不是第一个训练周期时,基于第一训练周期之前的训练周期训练结束时得到的神经网络模型对第一样本数据的预测数据的累积,而得到的第一目标预测数据,即根据第一目标预测数据对待训练神经网络模型的训练过程进行调整,更新待训练神经网络模型。
-
公开(公告)号:CN111241280A
公开(公告)日:2020-06-05
申请号:CN202010015197.1
申请日:2020-01-07
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35
Abstract: 本说明书实施例提供一种文本分类模型的训练方法和文本分类方法。在一个实施例中,一种文本分类模型的训练方法,包括:获取训练样本集;将训练样本集中文本样本分别输入公有特征提取器和与文本样本关联的私有特征提取器,得到文本样本的第一特征和第二特征;将文本样本的第一特征和第二特征分别输入任务判别器,得到文本样本的第一任务判别结果和第二任务判别结果;基于文本样本的第一特征和第二特征,利用与文本样本关联的私有特征提取器对应的分类器,得到文本样本的分类结果;判断是否满足预设训练停止条件;若不满足,调整文本分类模型的参数,并继续训练调整后的文本分类模型,直至满足预设训练停止条件,得到训练后的文本分类模型。
-
公开(公告)号:CN111191722A
公开(公告)日:2020-05-22
申请号:CN201911395996.X
申请日:2019-12-30
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种通过计算机训练预测模型的方法和装置,可以将较前周期状态下的预测模型,作为较后周期的预测模型的老师模型,仅需要老师模型的历史概率分布,和样本标签一起为模型参数的调整指引方向。由于每个训练周期中,各个状态下的输入样本都随机抽取,如果当前训练周期当前状态下输入的当前样本有多个,则这多个样本可以携带有历史训练周期中不同状态下的模型参数信息,相当于同时向多个老师模型学习,加快学习效率,提升模型学习效果。同时,存储的数据仅为各个样本在相关历史周期的概率分布,以较低的计算成本和存储成本,达到同时向多个老师模型学习的效果,可以提高模型训练的有效性。
-
公开(公告)号:CN111144567A
公开(公告)日:2020-05-12
申请号:CN201911415075.5
申请日:2019-12-31
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种神经网络模型的训练方法及装置。模型训练过程包括若干子训练过程,一个子训练过程包括预设数量个训练周期。在第N子训练过程的第M训练周期中,当第N子训练过程非首个子训练过程,且第M训练周期非首个训练周期时,基于第N-1子训练过程的最后一个训练周期训练结束时得到的第一目标模型,以及第N子训练过程中的第M-1训练周期训练结束时得到的第二目标模型,对待训练神经网络模型的训练过程进行调整,更新待训练神经网络模型。
-
公开(公告)号:CN111104516A
公开(公告)日:2020-05-05
申请号:CN202010084986.0
申请日:2020-02-10
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35
Abstract: 本说明书一个或多个实施例提供一种文本分类方法、装置及电子设备,基于BERT模型,所述BERT模型包括:至少两个依次连接的编码器层;所述方法,包括:将待分类文本输入所述BERT模型;采集每个所述编码器层的输出,得到对应于所述待分类文本的至少两个特征表示信息;融合至少两个所述特征表示信息,得到融合后的特征表示信息;融合后的特征表示信息充分利用每一编码器层的输出,且准确反映了文本所蕴含的词法和语法信息;根据所述融合后的特征表示信息,确定所述待分类文本的类型。
-
-
-
-
-
-
-
-
-