一种基于预训练语言模型的文本生成方法

    公开(公告)号:CN114510924B

    公开(公告)日:2022-09-20

    申请号:CN202210133050.1

    申请日:2022-02-14

    Abstract: 一种基于预训练语言模型的文本生成方法,它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架,该框架使用了一个规整模块,能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时,规整模块会抑制控制器并使其失效;如果当前解码位置可以生成与目标风格相关的词语时,规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。

    一种基于因果感知交互网络的对话情绪识别方法

    公开(公告)号:CN114676259A

    公开(公告)日:2022-06-28

    申请号:CN202210373952.2

    申请日:2022-04-11

    Abstract: 一种基于因果感知交互网络的对话情绪识别方法,涉及情绪识别技术领域,针对现有技术中对话情绪识别的准确率低的问题,本申请提出了一种基于因果感知交互网络的对话情绪识别方法,用于对话情绪识别。更具体地说,本申请探索了在识别目标语句的情绪时,将情绪原因纳入考虑的有效性。常识知识作为因果线索被利用,以帮助自动提取因果关系,缓解因缺乏情感原因注释而带来的限制。然后,本申请设计了包括因果线索检索和因果语句回溯在内的两步因果感知交互,以检测与目标语句相关的自身和他人间情绪原因。由此获得了具有因果感知的上下文表述,用于情绪识别。在三个基准数据集上的实验结果证明了所提出的CauAIN的有效性及其检测准确情绪原因的能力。

    一种基于图神经网络的细粒度情感分类方法

    公开(公告)号:CN113641822B

    公开(公告)日:2022-05-24

    申请号:CN202110922884.6

    申请日:2021-08-11

    Abstract: 一种基于图神经网络的细粒度情感分类方法,涉及自然语言处理技术领域,针对现有技术中由于复杂的句法结构,相关情感词的信息会衰减,进而导致情感分类准确率低的问题,本申请利用评价对象中心化图以缓解基于评价对象的情感分类任务中情感信息在依赖路径上的衰减问题。具体来说,本申请将一个句子中的所有单词直接与评价对象联系起来。此外,为了区分不同词的重要性,并继承句法结构带来的优势,本申请根据相对依存距离对每个词赋予了不同的权重。在此基础上,本申请评价对象为中心的图卷积网,将特定方面的情感特征与上下文信息进行交互,有效捕捉评价对象和潜在情感词之间的关联,进而提高了情感分类的准确率。

    一种基于异构事件图的子事件关系识别方法

    公开(公告)号:CN113326352B

    公开(公告)日:2022-05-24

    申请号:CN202110675339.1

    申请日:2021-06-18

    Abstract: 本发明公开一种基于异构事件图的子事件关系识别方法,包括以下步骤:采集文本,提取文本中的事件,识别事件连接,基于事件和事件连接建立异构初始事件图,转换异构初始事件图,构建异构事件图;基于预训练语言模型BERT,获得异构事件图中每个节点的节点表示,基于节点表示,获得异构事件图的输入特征;对异构事件图中每个节点创建混合跳邻域集,进行信息传播和聚合,获得异构图注意力机制模型;将待测事件对输入异构图注意力机制模型,预测待测事件对的子事件关系。本发明通过混合多种距离邻居的特征表示,聚合来自不同类型的邻居的信息,捕获输入事件对之间的潜在的上下位关系,提高利用异构事件图预测子事件关系的准确性。

    一种基于图增强预训练模型的事件预测方法

    公开(公告)号:CN114398500A

    公开(公告)日:2022-04-26

    申请号:CN202210112341.2

    申请日:2022-01-29

    Abstract: 本发明公开了一种基于图增强预训练模型的事件预测方法,包括:获取事件序列,对事件序列进行预训练获得若干个编码向量,并对若干个编码向量进行聚合,获得事件序列的表示向量;基于事件序列的表示向量,获取事件序列中任两个事件的邻接关系;获取事理图谱,基于事理图谱获取事件的逻辑关系;基于任两个事件的邻接关系和事件的逻辑关系完成事件预测。采用事理图谱作为模型学习事件间关系模式的知识库,事理图谱是描述事件及其逻辑关系的图谱,其知识将为事件预测任务提供有力支撑,将预训练语言模型与图结构信息预测进行融合,既能利用预训练模型中的丰富语言学知识,充分理解各个事件的语义,能通过学习事理图谱结构变量实现图结构信息的预测。

    用于生成描述文本的方法和设备

    公开(公告)号:CN110738026B

    公开(公告)日:2022-04-19

    申请号:CN201911012473.2

    申请日:2019-10-23

    Abstract: 本文描述了一种用于生成描述文本的方法和设备。所述方法包括:将关键词序列以及具有预定风格的参考文本输入经训练的神经网络,其中所述神经网络包括关键词编码器、文本编码器、互注意力编码器以及解码器;利用关键词编码器对关键词序列进行编码以得到关键词序列的隐层状态序列;利用文本编码器对参考文本进行编码以得到参考文本的隐层状态序列;利用互注意力编码器对关键词序列的隐层状态序列和参考文本的隐层状态序列进行编码以得到融合了预定风格的关键词序列的隐层状态序列;利用解码器对融合了预定风格的关键词序列的隐层状态序列进行解码以输出具有所述预定风格的描述文本。

    一种以文本为核心的多模态情感分类方法

    公开(公告)号:CN113312530A

    公开(公告)日:2021-08-27

    申请号:CN202110652703.2

    申请日:2021-06-09

    Abstract: 一种以文本为核心的多模态情感分类方法,涉及自然语言处理技术领域,针对现有技术中将每个模态的语义信息看作一个整体,缺乏探索不同模态交互的能力,进而导致情感分类不准确的问题,包含两部分,一部分是跨模态预测模型,该模型以文本模态特征为输入,输出为语音/图像模态特征。利用该模型我们设计了共享特征与私有特征的判定规则,进而利用规则分辨出共享和私有特征。另一部分是情感预测模型,该模型利用跨模态注意力机制将文本模态特征与语音/图像的共享和私有特征进行融合,最后得到多模态融合特征进行情感分类。

    一种基于文本的消费意图分析方法

    公开(公告)号:CN113095088A

    公开(公告)日:2021-07-09

    申请号:CN202110485144.0

    申请日:2021-04-30

    Abstract: 一种基于文本的消费意图分析方法,它属于消费意图分析技术领域。本发明解决了由于现有方法忽略了彼此相距较远的节点的结构相似性,导致对消费意图分析的准确度低的问题。本发明提出的技术将任务描述为一个异构图推理任务,以充分利用全局连接信息,使用节点聚合机制来捕获语义特征,使用元结构来显式地建模远距离节点之间的拓扑结构相似性,考虑了远距离节点之间的拓扑结构相似性后,可以大幅提高消费意图分析结果的准确度。本发明可以应用于消费意图分析。

    一种融入常识知识的生成式对话摘要方法

    公开(公告)号:CN112148863A

    公开(公告)日:2020-12-29

    申请号:CN202011104023.9

    申请日:2020-10-15

    Abstract: 一种融入常识知识的生成式对话摘要方法,属于自然语言处理领域。本发明解决了现有生成式对话摘要方法未利用常识知识而导致生成的对话摘要不准确,抽象性低的问题。本发明方法包括:获取常识知识库ConceptNet与对话摘要数据集SAMSum;利用获取的常识知识库ConceptNet为对话摘要数据集SAMSum引入元组知识,构建异构对话图;练步骤三中构造的对话异构神经网络模型,通过训练的对话异构神经网络模型从一段对话中生成最终对话摘要。本发明应用于对话摘要的生成。

Patent Agency Ranking