-
公开(公告)号:CN111144575A
公开(公告)日:2020-05-12
申请号:CN201911235651.8
申请日:2019-12-05
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的一个或多个实施例公开了一种舆情预警模型的训练方法、预警方法、装置、设备及介质,该舆情预警模型包括宽度学习模型和深度学习模型,该训练方法包括:获取舆情样本训练集,舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;将元信息特征输入宽度学习模型,以获取元信息特征处理结果;将内容特征输入深度学习模型,以获取内容特征处理结果;根据元信息特征处理结果和内容特征处理结果,确定舆情预警结果;根据舆情预警结果以及舆情标签,调整宽度学习模型和深度学习模型的参数。
-
公开(公告)号:CN110909145A
公开(公告)日:2020-03-24
申请号:CN201911203428.5
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F16/35 , G06F16/33
Abstract: 本说明书实施例提供一种针对多任务模型的训练方法,其中多任务模型包括语义编码层,针对搜索交互场景的搜索输出层以及针对问答交互场景的问答输出层,其中训练方法包括:首先,获取搜索交互场景和问答交互场景下采集的多个训练样本;然后,对于其中任意的第一样本,至少将其中的用户输入文本输入语义编码层,得到语义向量,并且,将语义向量分别输入搜索输出层和问答输出层;进一步地,根据第一样本所对应的采集场景,从对应场景的输出层获取预测结果,并结合第一样本中的样本标签,确定所述第一样本对应的预测损失;最后,基于多个训练样本各自对应的预测损失之和,调整所述多任务模型的参数。
-
公开(公告)号:CN110705717A
公开(公告)日:2020-01-17
申请号:CN201910942795.0
申请日:2019-09-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提供一种计算机执行的机器学习模型的训练方法、装置及设备,在训练方法中,获取在当前时间段内的增量数据,作为训练样本集。基于训练样本集,对在上一时间段训练后的机器学习模型进行增量训练,得到初始机器学习模型。将测试样本集中的各测试样本输入初始机器学习模型,以得到测试结果。基于测试结果,确定初始机器学习模型的准确率。若准确率大于第一阈值,则将初始机器学习模型作为在当前时间段训练后的机器学习模型。若准确率不大于第一阈值,则将测试样本集中测试结果错误的测试样本加入训练样本集,得到更新后的训练样本集,并基于更新后的训练样本集,对初始机器学习模型进行训练,以得到在当前时间段训练后的机器学习模型。
-
公开(公告)号:CN113095040B
公开(公告)日:2024-07-16
申请号:CN202110410042.2
申请日:2021-04-16
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/126 , G06N3/084
Abstract: 本说明书实施例提供了一种编码网络的训练方法、文本编码方法和系统,包括:获取训练文本;确定训练文本中的遮罩片段;通过编码模型确定训练文本中的遮罩片段的上文向量表示和下文向量表示;基于上文向量表示和下文向量表示,通过预测模型确定遮罩片段中各字符对应的出现概率;基于包含出现概率项的损失函数更新编码模型和预测模型的参数;其中,编码模型以及预测模型分别具有编码网络,且共享编码网络的参数,还包括:基于所的字符向量序列,通过编码模型进行多次处理以获得文本中两个或以上连续字符组成的字符串的向量表示,编码模型用于接收第一向量表示与第二向量表示,输出组合向量表示及组合概率值。
-
公开(公告)号:CN111241280B
公开(公告)日:2023-09-05
申请号:CN202010015197.1
申请日:2020-01-07
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35
Abstract: 本说明书实施例提供一种文本分类模型的训练方法和文本分类方法。在一个实施例中,一种文本分类模型的训练方法,包括:获取训练样本集;将训练样本集中文本样本分别输入公有特征提取器和与文本样本关联的私有特征提取器,得到文本样本的第一特征和第二特征;将文本样本的第一特征和第二特征分别输入任务判别器,得到文本样本的第一任务判别结果和第二任务判别结果;基于文本样本的第一特征和第二特征,利用与文本样本关联的私有特征提取器对应的分类器,得到文本样本的分类结果;判断是否满足预设训练停止条件;若不满足,调整文本分类模型的参数,并继续训练调整后的文本分类模型,直至满足预设训练停止条件,得到训练后的文本分类模型。
-
公开(公告)号:CN111538831B
公开(公告)日:2023-04-18
申请号:CN202010502724.1
申请日:2020-06-05
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/34 , G06F16/332 , G06F40/205 , G06F40/289 , G06N3/0442 , G06N3/08
Abstract: 本说明书一个或多个实施例提供一种文本生成方法、装置及电子设备;本说明书一个或多个实施例的方案,设计构建文本生成模型,该文本生成模型包括编码器和解码器,基于编码器‑解码器的结构,由编码器对输入文本进行编码,并基于自注意力机制相应生成输入文本包括的各个词的自注意力特征来确定输出词来自输入文本的概率,还结合编码器在当前步生成的自注意力特征以及解码器在前一步生成的自注意力特征,来确定输出词来自词典的概率以及前一步的输出词对于当前步输出词的输出概率的影响,进而由解码器逐步输出输出词以最终得到输出文本。
-
公开(公告)号:CN111368997B
公开(公告)日:2022-09-06
申请号:CN202010143596.6
申请日:2020-03-04
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种神经网络模型的训练方法及装置,在训练方法中,基于在上一周期训练后的神经网络模型,分别确定在当前周期待训练的第一模型,以及用于辅助训练第一模型的第二模型。从样本集合中选取当前标定样本,并基于其执行以下步骤:将当前标定样本输入第一模型,得到第一概率分布。基于第一概率分布,确定当前标定样本的预测标签。将当前标定样本输入第二模型,得到第二概率分布。基于标定标签和预测标签,确定第一预测损失。基于第一概率分布和第二概率分布,确定第二预测损失。结合第一预测损失和第二预测损失,调整第一模型的参数。在全部样本选取完之后,将最后一次调整参数后的第一模型作为在当前周期训练后的神经网络模型。
-
公开(公告)号:CN110991613B
公开(公告)日:2022-08-02
申请号:CN201911202733.2
申请日:2019-11-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N+K层神经网络,第N层神经网络输出第一概率分布,第N+K层神经网络输出第二概率分布;其中,N和K为大于0的整数;根据所述第一概率分布与所述训练数据的标签,确定第一反馈信号;根据所述第二概率分布与所述训练数据的标签,确定第二反馈信号;根据所述第一反馈信号调节1~N层神经网络的参数,以及根据所述第二反馈信号调节1~N+K层神经网络的参数,得到训练好的N层神经网络。
-
公开(公告)号:CN112395405A
公开(公告)日:2021-02-23
申请号:CN202011602065.5
申请日:2020-12-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F16/338 , G06F40/35
Abstract: 本说明书一个或多个实施例提供一种查询文档排序方法、装置及电子设备,包括:基于训练样本集对作为老师模型的第一排序模型进行有监督的训练;其中,训练样本包括查询问句和与查询问句对应的查询文档,并被标注了指示查询文档与查询问句是否匹配的标签;第一排序模型包括对至少一个评分子模型进行模型融合得到的排序模型;评分子模型用于输出查询文档对应于查询问句的匹配度评分;基于第一排序模型输出的与训练样本集对应的排序结果对作为学生模型的第二排序模型进行预训练,并基于训练样本集对预训练后的第二排序模型进行模型微调;其中,第一排序模型和第二排序模型用于按照匹配度评分对与同一查询问句对应的多个查询文档进行排序。
-
公开(公告)号:CN112016299A
公开(公告)日:2020-12-01
申请号:CN202010898079.X
申请日:2020-08-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/211 , G06F40/289 , G06F40/284 , G06N3/04
Abstract: 本说明书实施例了提供一种生成依存句法树的方法及装置。该方法包括:在嵌入层,对待分析句子中各个位置对应的各个字分别进行嵌入处理,得到所述各个字各自的特征向量;在字关系生成层,利用自注意力机制,基于第一字的特征向量和第二字的特征向量,确定第一字到第二字的字间依存度;第一字和第二字为所述待分析句子中两个不同位置的字;在词关系生成层,基于第一词中的字到第二词中的字的字间依存度,确定第一词到第二词的词间依存度,第一词和第二词为所述待分析句子所包含的多个词中的两个不同词;在输出层,基于所述多个词中各词相互的词间依存度,确定依存句法树。该方法可以减少集外词情况的发生,具有较高的新词容错能力。
-
-
-
-
-
-
-
-
-