一种基于扩散模型的多粒度可控共情对话生成方法

    公开(公告)号:CN117909468A

    公开(公告)日:2024-04-19

    申请号:CN202410024770.3

    申请日:2024-01-08

    Abstract: 本发明提出一种基于扩散模型的多粒度可控共情对话生成方法,属于文本生成领域。本发明首先通过提取标准回复的话语级别、句子级别和词语级别的控制因素,然后设计掩码矩阵进行细粒度控制,训练扩散模型;最后在共情对话生成阶段,从训练集中进行语义相似性和情绪一致性的匹配检索,将检索到的回复作为原型回复并提取控制因素,然后连同对话上下文输入到训练好的扩散模型中,获得最终的共情对话生成文本。本发明能够实现精细控制,生成的回复可以受到情绪不同程度影响,生成更加自然和适应上下文的共情回复,提高回复的多样性和复杂性。

    一种基于分层迭代的长文本抽取式摘要生成方法和装置

    公开(公告)号:CN118332101B

    公开(公告)日:2025-05-16

    申请号:CN202410400400.5

    申请日:2024-04-03

    Abstract: 本发明属于文本信息抽取领域,涉及一种基于分层迭代的长文本抽取式摘要生成方法和装置。该方法包括:获取文本中字符的词向量、位置向量以及结构子标题向量,将其相加作为语义编码的输入,采用长文本预训练语言模型作为语义编码器,进行语义编码;将语义编码之后的向量送入各个层级编码器中,将语义信息沿着文本结构路线由句子层级至文档层级进行分层传递,然后从文档层级至句子层级再次进行分层传递,实现迭代更新,得到各个层级的隐层表示;通过融合各个层级的隐层表示全面地对每个句子进行评价,选出最优的摘要句。本发明能够克服现有抽取式摘要面向长文本时计算资源消耗大,存在语义损失以及长文本结构建模缺失的问题。

    一种零样本对话状态追踪方法

    公开(公告)号:CN118395994B

    公开(公告)日:2025-05-13

    申请号:CN202410327987.1

    申请日:2024-03-21

    Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。

    一种零样本对话状态追踪方法

    公开(公告)号:CN118395994A

    公开(公告)日:2024-07-26

    申请号:CN202410327987.1

    申请日:2024-03-21

    Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。

    一种基于多视图蒸馏增强的实体链接方法

    公开(公告)号:CN118760772A

    公开(公告)日:2024-10-11

    申请号:CN202410736212.X

    申请日:2024-06-07

    Abstract: 本发明公开了一种基于多视图蒸馏增强的实体链接方法。本方法包括:1)多视图实体表征:将每个实体原本篇章级的文本描述分成多个句子级的视图,对每一视图独立地经过语言模型进行编码,得到每一句子视图对应的向量表征;从中选择一个和提及最相关的视图的向量表征作为实体的向量表征,以避免与提及无关的信息被引入到实体表征中;2)多视图蒸馏增强:在引入了细粒度的视图表征后,通过交叉对齐和自对齐机制,分别在原始的实体层次以及细粒度的视图层次两个维度上对齐学生模型和教师模型间的相关性分数分布,从而促进教师模型到学生模型的细粒度知识蒸馏。本发明促进了实体链接系统的整体性能的提升。

    一种基于多视图蒸馏增强的实体链接方法

    公开(公告)号:CN118760772B

    公开(公告)日:2025-04-01

    申请号:CN202410736212.X

    申请日:2024-06-07

    Abstract: 本发明公开了一种基于多视图蒸馏增强的实体链接方法。本方法包括:1)多视图实体表征:将每个实体原本篇章级的文本描述分成多个句子级的视图,对每一视图独立地经过语言模型进行编码,得到每一句子视图对应的向量表征;从中选择一个和提及最相关的视图的向量表征作为实体的向量表征,以避免与提及无关的信息被引入到实体表征中;2)多视图蒸馏增强:在引入了细粒度的视图表征后,通过交叉对齐和自对齐机制,分别在原始的实体层次以及细粒度的视图层次两个维度上对齐学生模型和教师模型间的相关性分数分布,从而促进教师模型到学生模型的细粒度知识蒸馏。本发明促进了实体链接系统的整体性能的提升。

Patent Agency Ranking