一种文本分类的方法、模型训练的方法、装置及存储介质

    公开(公告)号:CN111368079B

    公开(公告)日:2024-06-25

    申请号:CN202010129553.2

    申请日:2020-02-28

    Abstract: 本申请公开了一种应用于人工智能领域的文本分类方法,包括:获取待分类文本;通过编码器获取待分类文本中每个词语所对应的隐藏状态;根据每个词语所对应的隐藏状态,获取每个词语所对应的深度值;根据每个词语所对应的深度值以及每个词语所对应的词嵌入,生成每个词语所对应的词特征向量;基于每个词语所对应的词特征向量,通过文本分类模型获取待分类文本所对应的文本编码结果;通过文本分类模型获取待分类文本的分类结果。本申请还公开了一种模型训练的方法。本申请可以自适应地获取文本中每个词语所对应的深度值,使得文本分类模型根据不同的深度值对相应的词语进行编码,从而能够对文本中的词语进行执行充分计算。

    一种摘要生成模型的训练方法及相关装置

    公开(公告)号:CN117473359A

    公开(公告)日:2024-01-30

    申请号:CN202311178879.4

    申请日:2023-09-12

    Abstract: 本申请公开一种摘要生成模型的训练方法及相关装置;方法包括:初始生成模型包括编码器、融合器和解码器,将第一批量样本中第一样本文本、第一样本图像和第一样本摘要输入编码器,编码输出第一文本向量、第一图像向量、第一对象向量和第一摘要分词向量。将第一文本向量和第一图像向量输入融合器,跨模态融合输出第一融合向量;将第一融合向量和第一样本摘要的第一表示向量输入解码器,解码输出第一概率密度。通过最大化第一概率密度、第一对象向量与第一摘要分词向量之间的第一相似度、最小化第一对象向量与多个第二摘要分词向量之间的多个第二相似度,训练初始生成模型的模型参数得到摘要生成模型。该方法提升摘要生成模型的摘要效果。

    数据处理方法、装置、计算机可读介质及电子设备

    公开(公告)号:CN115545048A

    公开(公告)日:2022-12-30

    申请号:CN202110744263.3

    申请日:2021-06-30

    Abstract: 本申请属于人工智能技术领域,具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。本申请实施例中的数据处理方法,包括:获取源端输入样本以及与所述源端输入样本相关联的目标输出样本;对源端输入样本进行编码处理得到所述源端输入样本的中间语义特征;按照解码步骤对目标端输入样本和所述中间语义特征进行解码处理得到与所述源端输入样本相对应的实际输出数据,所述目标端输入样本是对所述目标输出样本和所述实际输出数据进行采样得到的混合样本;按照所述解码步骤逐步增大所述实际输出数据在所述目标端输入样本中的分布比例。该方法可以在保证模型训练效率的同时提高模型训练精度。

    一种数据处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114528852A

    公开(公告)日:2022-05-24

    申请号:CN202210140138.6

    申请日:2022-02-15

    Abstract: 本申请实施例公开了一种数据处理方法、装置、计算机设备以及存储介质。其中方法包括:获取样本语料集,样本语料集包括目标样本语料对,目标样本语料对包括第一样本语句和第二样本语句,第二样本语句是第一样本语句翻译后的语句;根据第一样本语句和第二样本语句中j‑1个数据对第二样本语句中第j个数据进行概率预测处理,得到第j个数据的第一预测概率;根据前j‑1个数据对第二样本语句的第j个数据进行概率预测处理,得到第j个数据的第二预测概率;根据第j个数据的第一预测概率和第二预测概率对初始模型进行训练,得到目标模型;获取输入语句,将输入语句输入目标模型,生成翻译后的输出语句。以使得文本翻译更准确,提高数据处理准确性。

    对话翻译方法、装置、电子设备、存储介质及程序产品

    公开(公告)号:CN118734863A

    公开(公告)日:2024-10-01

    申请号:CN202310379093.2

    申请日:2023-03-31

    Abstract: 本申请提供了一种对话翻译方法、装置、电子设备、计算机可读存储介质及计算机程序产品;涉及人工智能技术;方法包括:获取当前对话的第一对话原文,并获取当前对话的至少一种类型的知识;基于第一对话原文以及至少一种类型的知识进行图构建处理,得到当前对话的图结构;对当前对话的图结构进行图编码处理,得到当前对话的知识图表示;对当前对话的知识图表示进行情感预测处理,得到当前对话的预测情感;基于当前对话的知识图表示以及当前对话的预测情感进行翻译处理,得到当前对话的第一对话译文。通过本申请,能够准确地在对话译文中表达情感,从而提高对话翻译的准确性。

    训练样本处理方法、装置、设备、存储介质和程序产品

    公开(公告)号:CN118734844A

    公开(公告)日:2024-10-01

    申请号:CN202310358966.1

    申请日:2023-03-28

    Abstract: 本申请涉及一种训练样本处理方法、装置、设备、存储介质和程序产品。所述方法包括:获取原始样本,每个原始样本包括文本、文本中的方面词以及方面词在文本中的位置信息;对文本中的方面词进行掩码处理,得到掩码后的文本;通过预训练语言模型,根据掩码后的文本与位置信息对位置信息所指示方面词位置进行方面词预测,得到预测方面词;将原始样本的文本中的方面词替换为预测方面词,得到增强样本;增强样本用于训练方面词抽取模型。采用本方法能够产生包含新的方面词的增强样本,使用增强样本训练方面词抽取模型,使得方面词抽取模型可以提取新的方面词,提升方面词抽取模型的精确性。

    一种模型训练的方法、文本分类的方法、装置及存储介质

    公开(公告)号:CN111368078B

    公开(公告)日:2024-07-09

    申请号:CN202010129552.8

    申请日:2020-02-28

    Abstract: 本申请公开了一种模型训练的方法,包括:获取待训练文本;获取待训练文本中每个词语所对应的第一深度标签;基于每个词语的词嵌入,通过文本分类模型中的深度值分类器获取每个词语所对应的深度概率分布向量;基于每个词语所对应的第二深度标签以及每个词语所对应的词嵌入,通过文本分类模型获取类别概率分布向量;根据待训练文本所对应的真实分类标签、类别概率分布向量、第一深度标签以及深度概率分布向量,采用目标损失函数对文本分类模型的模型参数进行更新。本申请还公开了一种基于人工智能的文本分类方法。本申请可以独立预测每个词语对应的深度值,而不会受到下游任务类型和数据集的干扰,从而提升模型的鲁棒性。

    多模态对话翻译方法、装置、电子设备及存储介质

    公开(公告)号:CN116663574A

    公开(公告)日:2023-08-29

    申请号:CN202210141138.8

    申请日:2022-02-16

    Abstract: 本申请提供一种多模态对话翻译方法、装置、电子设备及存储介质,涉及计算机技术领域。在基于源语言获取到待翻译对话文本和历史对话文本后,可以确定待翻译对话文本和历史对话文本之间的上下文关系,以及发言对象的对话表达特征,并分别对待翻译对话文本对应的至少一个场景图像进行特征提取,得到相应的图像特征集合,将上下文关系、对话表达特征和图像特征集合进行融合,得到多模态对话特征,并基于目标语言对多模态对话特征进行翻译,获得目标翻译对话文本。由于引入了相应的场景图像,并从场景图像中提取出有效的图像信息,从而可以得到更加准确的目标翻译文本,且得到的目标翻译文本能更好地切合当前的对话场景。

Patent Agency Ranking