公开(公告)号：CN111581395B

公开(公告)日：2023-09-19

申请号：CN202010373485.4

申请日：2020-05-06

Applicant: 西安交通大学

Inventor： 饶元 ,  程家敏 ,  吴连伟 ,  丁毅

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/284 ,  G06N20/00

Abstract: 本发明公开了一种基于深度学习的模型融合三元组表示学习系统及方法，使用预训练的BERT语言模型对单词进行嵌入表示，获取了单词更加语境化的表示；同时利用BERT结构的掩蔽语言建模任务将其三元组作为序列输入；本发明对于同实体多种语义的问题，利用投影或者转换矩阵使得映射实体关系在不同领域上能够有不同的表示，但是本发明中改造后的BERT可以将三元组或其描述信息作为文本输入并一同训练，而BERT本身的机制会对实体关系在不同句子中会有不同的词向量，有效解决了实体关系不同语义的问题，因此选择TransE不会受限于其模型本身，反而其模型的足够简单才真正反映了三元组之间的对应关系。同时降低了模型的复杂度。

公开(公告)号：CN111581395A

公开(公告)日：2020-08-25

申请号：CN202010373485.4

申请日：2020-05-06

Applicant: 西安交通大学

Inventor： 饶元 ,  程家敏 ,  吴连伟 ,  丁毅

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/284 ,  G06N20/00

Abstract: 本发明公开了一种基于深度学习的模型融合三元组表示学习系统及方法，使用预训练的BERT语言模型对单词进行嵌入表示，获取了单词更加语境化的表示；同时利用BERT结构的掩蔽语言建模任务将其三元组作为序列输入；本发明对于同实体多种语义的问题，利用投影或者转换矩阵使得映射实体关系在不同领域上能够有不同的表示，但是本发明中改造后的BERT可以将三元组或其描述信息作为文本输入并一同训练，而BERT本身的机制会对实体关系在不同句子中会有不同的词向量，有效解决了实体关系不同语义的问题，因此选择TransE不会受限于其模型本身，反而其模型的足够简单才真正反映了三元组之间的对应关系。同时降低了模型的复杂度。