公开(公告)号：CN112231461A

公开(公告)日：2021-01-15

申请号：CN202011182518.3

申请日：2020-10-29

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 倪斌 ,  庄福振 ,  安竹林 ,  程坦 ,  徐勇军 ,  陆晓蕾 ,  马涛 ,  童逸琦

IPC: G06F16/332 ,  G06F16/36 ,  G06F40/126 ,  G06F40/205 ,  G06F40/284 ,  G06F40/295

Abstract: 本发明公开了一种融合知识的对话生成方法，包括如下步骤：S1、构建知识图谱；S2、构建对话模型，所述对话模型由编码器和解码器组成，构建过程包括词编码、知识编码、双跳实体编码、加权合并和解码。本发明引入图编码和图注意力机制进行双跳实体编码，基于相邻实体之间的关系，更好地捕捉对话中的实体语义；同时结合知识图谱围绕对话涉及的概念知识，从而给出更合理的富有信息量的回复，解决当前对话过程中话题概念飘移和扩展的问题。

公开(公告)号：CN112231461B

公开(公告)日：2022-05-17

申请号：CN202011182518.3

申请日：2020-10-29

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 倪斌 ,  庄福振 ,  安竹林 ,  程坦 ,  徐勇军 ,  陆晓蕾 ,  马涛 ,  童逸琦

IPC: G06F16/332 ,  G06F16/36 ,  G06F40/126 ,  G06F40/205 ,  G06F40/284 ,  G06F40/295

Abstract: 本发明公开了一种融合知识的对话生成方法，包括如下步骤：S1、构建知识图谱；S2、构建对话模型，所述对话模型由编码器和解码器组成，构建过程包括词编码、知识编码、双跳实体编码、加权合并和解码。本发明引入图编码和图注意力机制进行双跳实体编码，基于相邻实体之间的关系，更好地捕捉对话中的实体语义；同时结合知识图谱围绕对话涉及的概念知识，从而给出更合理的富有信息量的回复，解决当前对话过程中话题概念飘移和扩展的问题。

公开(公告)号：CN112199491A

公开(公告)日：2021-01-08

申请号：CN202011099237.1

申请日：2020-10-14

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 马涛 ,  倪斌 ,  童逸琦 ,  汪姿如 ,  庄福振 ,  安竹林 ,  程坦 ,  徐勇军

IPC: G06F16/335 ,  G06F40/30 ,  G06F16/36

Abstract: 本发明公开了一种基于BERT与先验知识特征的关系五元组抽取方法，包括如下步骤：预处理；提取语义特征向量；融合拼接；s抽取阶段；p、o抽取阶段；t、l抽取阶段；最终得到关系五元组的特征向量h+pre+s+p+o+t+l。本发明利用BERT模型与先验知识特征融合的方法抽取文本的关系五元组，利用概率图结合指针结构，解决了一种关系对应多个实体以及实体重叠的问题。

公开(公告)号：CN112199491B

公开(公告)日：2022-04-22

申请号：CN202011099237.1

申请日：2020-10-14

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 马涛 ,  倪斌 ,  童逸琦 ,  汪姿如 ,  庄福振 ,  安竹林 ,  程坦 ,  徐勇军

IPC: G06F16/335 ,  G06F40/30 ,  G06F16/36

Abstract: 本发明公开了一种基于BERT与先验知识特征的关系五元组抽取方法，包括如下步骤：预处理；提取语义特征向量；融合拼接；s抽取阶段；p、o抽取阶段；t、l抽取阶段；最终得到关系五元组的特征向量h+pre+s+p+o+t+l。本发明利用BERT模型与先验知识特征融合的方法抽取文本的关系五元组，利用概率图结合指针结构，解决了一种关系对应多个实体以及实体重叠的问题。

公开(公告)号：CN111967267A

公开(公告)日：2020-11-20

申请号：CN202011009623.7

申请日：2020-09-23

Applicant: 中国科学院计算技术研究所厦门数据智能研究院

Inventor： 童逸琦 ,  马涛 ,  倪斌 ,  汪姿如 ,  庄福振

IPC: G06F40/295 ,  G06F40/289 ,  G06F16/951 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明公开了一种基于XLNet的新闻文本地域提取的方法及系统，其方法包括如下步骤：S1、利用互联网上获取海量未标注生语料，输入XLNet预训练模型中进行预训练；S2、将预处理后的数据输入到步骤S1预训练好的XLNet预训练模型中进行编码，将编码后的隐状态输入到BiLSTM+CRF模型中进行识别，输出识别后的地域实体；S3、地域实体消歧；S4、地域实体汇总；S5、地域主体补全操作；其系统包括地域实体识别模块、实体拼接模块、地域消歧义模块和地域汇总模块，地域实体识别模块由XLNet预训练模型和BiLSTM+CRF模型组成。本发明的二阶段训练过程克服了现有技术存在的预训练阶段和训练阶段存在使用模式不一致的问题，解决了传统的自回归模型无法同时学习上下文信息的痛点，实现了完整建模。