公开(公告)号：CN116415005B

公开(公告)日：2023-08-18

申请号：CN202310684297.7

申请日：2023-06-12

Applicant: 中南大学

Inventor： 费洪晓 ,  谭杨盈 ,  杨柳 ,  龙军 ,  王子冬 ,  黄文体

IPC: G06F16/36 ,  G06N3/048 ,  G06N3/096 ,  G06F16/35 ,  G06F18/241

Abstract: 本发明公开了一种面向学者学术网络构建的关系抽取方法，包括如下步骤：步骤S1：构建包括至少两个教师模型的多教师模型，计算教师模型权重；步骤S2：构建学生模型，根据灵活温度计算蒸馏目标分布，计算知识蒸馏损失，结合知识蒸馏损失和远程监督损失计算总损失；步骤S3，进行关系抽取，学生模型进行训练，得到关系抽取模型，利用关系抽取模型对输入的数据集进行关系抽取。优点是，本发明考虑到样本的差异而设置灵活温度，使用样本在隐藏层和分类层的信息熵相对差值，尽可能保留样本的有效信息，并降低样本标签软化的不确定性；另外，本发明将多教师的思想引入到了关系抽取之中，通过构建不同教师的全局关系，以传播更丰富且有效的知识。

公开(公告)号：CN116415005A

公开(公告)日：2023-07-11

申请号：CN202310684297.7

申请日：2023-06-12

Applicant: 中南大学

Inventor： 费洪晓 ,  谭杨盈 ,  杨柳 ,  龙军 ,  王子冬 ,  黄文体

IPC: G06F16/36 ,  G06N3/048 ,  G06N3/096 ,  G06F16/35 ,  G06F18/241

Abstract: 本发明公开了一种面向学者学术网络构建的关系抽取方法，包括如下步骤：步骤S1：构建包括至少两个教师模型的多教师模型，计算教师模型权重；步骤S2：构建学生模型，根据灵活温度计算蒸馏目标分布，计算知识蒸馏损失，结合知识蒸馏损失和远程监督损失计算总损失；步骤S3，进行关系抽取，学生模型进行训练，得到关系抽取模型，利用关系抽取模型对输入的数据集进行关系抽取。优点是，本发明考虑到样本的差异而设置灵活温度，使用样本在隐藏层和分类层的信息熵相对差值，尽可能保留样本的有效信息，并降低样本标签软化的不确定性；另外，本发明将多教师的思想引入到了关系抽取之中，通过构建不同教师的全局关系，以传播更丰富且有效的知识。