-
公开(公告)号:CN114626425B
公开(公告)日:2024-11-08
申请号:CN202011456860.8
申请日:2020-12-10
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F18/22 , G06F40/30 , G06F40/284 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/084
Abstract: 本发明提供一种面向噪声文本的多视角交互匹配方法及电子装置,包括对两段待匹配噪声文本分别编码,得到两段编码向量序列,并向两段编码向量序列的每个编码向量中加入位置信息;对加入位置信息的两段编码向量序列进行内部交互,分别得到两段内部交互结果;对两段内部交互结果进行外部交互,分别构建两个双向的噪声文本交互矩阵;拼接两个噪声文本交互矩阵,判断两个待匹配噪声文本是否匹配。本发明采用注意力机制捕获噪声文本之间的双向匹配模式,受噪声文本中句子的逻辑顺序影响较小,增加文本有效语义单词影响,提高模型时间效率及噪声文本匹配效果,避免传递匹配问题。
-
公开(公告)号:CN115269833A
公开(公告)日:2022-11-01
申请号:CN202210760202.0
申请日:2022-06-29
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/35 , G06F40/194 , G06K9/62
Abstract: 本发明公开一种基于深度语义和多任务学习的事件信息抽取方法及系统,属于文本信息抽取领域。为克服现有事件信息抽取技术准确率、召回率低等不足,本发明主要利用预训练语言模型通过对文章在篇章级、语段级、语句级、词语级等粒度上分别进行向量表示,通过依次进行事件分类、事件论元抽取、关键词抽取获得事件的主要信息。本发明在事件分类、事件论元抽取、关键词抽取三方面达到了非常高的准确率。
-
公开(公告)号:CN118332375A
公开(公告)日:2024-07-12
申请号:CN202410400399.6
申请日:2024-04-03
Applicant: 中国科学院信息工程研究所
IPC: G06F18/24 , G06F18/22 , G06F18/21 , G06N3/0985 , G06N3/0895 , G06N3/042 , G06N3/048 , G06N3/0464
Abstract: 本发明属于计算机数据挖掘分析技术领域,具体涉及一种基于任务级别关系建模的小样本图节点分类方法和装置。本发明利用对比学习方法来捕获元学习任务间的关系,通过拉近元学习任务图和原始图之间的距离捕获元任务间的相关性,通过拉远不同元学习任务图之间的距离捕获元任务间的差异性,整个方案遵循图元学习范式,对比学习作为子模块加入到图元学习框架中,最终通过联合优化完成小样本图节点分类任务。本发明设计了新的图元学习和图对比学习联合框架,利用对比学习建模了元学习任务间的复杂关系,在不引入额外标注信息的情况下,有效提升了小样本图节点分类任务的性能。
-
公开(公告)号:CN117909468A
公开(公告)日:2024-04-19
申请号:CN202410024770.3
申请日:2024-01-08
Applicant: 中国科学院信息工程研究所
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06F40/35 , G06N20/00
Abstract: 本发明提出一种基于扩散模型的多粒度可控共情对话生成方法,属于文本生成领域。本发明首先通过提取标准回复的话语级别、句子级别和词语级别的控制因素,然后设计掩码矩阵进行细粒度控制,训练扩散模型;最后在共情对话生成阶段,从训练集中进行语义相似性和情绪一致性的匹配检索,将检索到的回复作为原型回复并提取控制因素,然后连同对话上下文输入到训练好的扩散模型中,获得最终的共情对话生成文本。本发明能够实现精细控制,生成的回复可以受到情绪不同程度影响,生成更加自然和适应上下文的共情回复,提高回复的多样性和复杂性。
-
公开(公告)号:CN118332101B
公开(公告)日:2025-05-16
申请号:CN202410400400.5
申请日:2024-04-03
Applicant: 中国科学院信息工程研究所
IPC: G06F16/34 , G06F40/30 , G06N3/0442 , G06N3/08 , G06F16/353
Abstract: 本发明属于文本信息抽取领域,涉及一种基于分层迭代的长文本抽取式摘要生成方法和装置。该方法包括:获取文本中字符的词向量、位置向量以及结构子标题向量,将其相加作为语义编码的输入,采用长文本预训练语言模型作为语义编码器,进行语义编码;将语义编码之后的向量送入各个层级编码器中,将语义信息沿着文本结构路线由句子层级至文档层级进行分层传递,然后从文档层级至句子层级再次进行分层传递,实现迭代更新,得到各个层级的隐层表示;通过融合各个层级的隐层表示全面地对每个句子进行评价,选出最优的摘要句。本发明能够克服现有抽取式摘要面向长文本时计算资源消耗大,存在语义损失以及长文本结构建模缺失的问题。
-
公开(公告)号:CN118395994B
公开(公告)日:2025-05-13
申请号:CN202410327987.1
申请日:2024-03-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。
-
公开(公告)号:CN118779746A
公开(公告)日:2024-10-15
申请号:CN202410746408.7
申请日:2024-06-11
Applicant: 中国科学院信息工程研究所
IPC: G06F18/2415 , G06N3/042 , G06N3/0455
Abstract: 本发明涉及一种基于关系向量的异配图表示学习方法和系统。该方法是一种变分GNN模型,创新性地将细粒度关系学习融入到消息传递过程中,从而实现对图上的同配性和异配性的建模。该方法在统一的框架中对关系向量生成和节点表示进行建模,从而能够更直接地将关系向量学到的知识转化为节点表示,其中编码器实现关系向量生成,解码器实现节点表示。本发明通过引入关系向量建模了异配图的边复杂语义关系,从而促进了异配图中异配结构的建模,能够实现更好的分类结果。
-
公开(公告)号:CN118395994A
公开(公告)日:2024-07-26
申请号:CN202410327987.1
申请日:2024-03-21
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种零样本对话状态追踪方法,其步骤包括:1)划分阶段:对于每一段对话状态标注的对话文本Ct,利用预训练语言模型f将对话文本Ct转换成对话文本向量et,然后利用聚类技术将各对话文本向量归类到其不同的子集中,得到K个子集;2)解决阶段:将子集中的每一文本向量作为一个样本,分别利用所得每一子集训练语义独立的状态追踪模型,共得到K个训练后的状态追踪模型;3)合并阶段:首先进行关系挖掘,将一个给定的对话文本C′t转换为语义向量e′t,计算每一子集的语义空间和对话文本C′t之间的关系δ;然后进行聚合推理,根据每一训练后的状态追踪模型及其对应的关系δ预测该对话文本C′t对应的对话状态。
-
公开(公告)号:CN118760772A
公开(公告)日:2024-10-11
申请号:CN202410736212.X
申请日:2024-06-07
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于多视图蒸馏增强的实体链接方法。本方法包括:1)多视图实体表征:将每个实体原本篇章级的文本描述分成多个句子级的视图,对每一视图独立地经过语言模型进行编码,得到每一句子视图对应的向量表征;从中选择一个和提及最相关的视图的向量表征作为实体的向量表征,以避免与提及无关的信息被引入到实体表征中;2)多视图蒸馏增强:在引入了细粒度的视图表征后,通过交叉对齐和自对齐机制,分别在原始的实体层次以及细粒度的视图层次两个维度上对齐学生模型和教师模型间的相关性分数分布,从而促进教师模型到学生模型的细粒度知识蒸馏。本发明促进了实体链接系统的整体性能的提升。
-
公开(公告)号:CN118760772B
公开(公告)日:2025-04-01
申请号:CN202410736212.X
申请日:2024-06-07
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于多视图蒸馏增强的实体链接方法。本方法包括:1)多视图实体表征:将每个实体原本篇章级的文本描述分成多个句子级的视图,对每一视图独立地经过语言模型进行编码,得到每一句子视图对应的向量表征;从中选择一个和提及最相关的视图的向量表征作为实体的向量表征,以避免与提及无关的信息被引入到实体表征中;2)多视图蒸馏增强:在引入了细粒度的视图表征后,通过交叉对齐和自对齐机制,分别在原始的实体层次以及细粒度的视图层次两个维度上对齐学生模型和教师模型间的相关性分数分布,从而促进教师模型到学生模型的细粒度知识蒸馏。本发明促进了实体链接系统的整体性能的提升。
-
-
-
-
-
-
-
-
-