公开(公告)号：CN111444721A

公开(公告)日：2020-07-24

申请号：CN202010460134.7

申请日：2020-05-27

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  李龙宇

IPC: G06F40/295 ,  G06F40/30 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练语言模型的中文文本关键信息抽取方法，具体步骤如下：(1)将待抽取的关键信息进行分类，易于归纳组成规则的信息类别，使用正则匹配的方法抽取。(2)对命名实体使用序列标注模型抽取。(3)序列标注模型采用对预训练语言模型微调的方法进行构建，首先使用大规模无标记文本语料学习得到预训练语言模型，并在预训练阶段引入词边界特征。(4)将使用规则匹配的数据内容替换为其对应的规则模板标签，以完成规则匹配与深度网络的融合。(5)根据有标记的训练数据，在预训练语言模型上进行微调，将其迁移到命名实体的序列标注任务上。本发明可以有效提取文本上下文语义特征，并且在复杂信息类别的场景下有效地识别各个信息种类。

公开(公告)号：CN111444721B

公开(公告)日：2022-09-23

申请号：CN202010460134.7

申请日：2020-05-27

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  李龙宇

IPC: G06F40/295 ,  G06F40/30 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练语言模型的中文文本关键信息抽取方法，具体步骤如下：(1)将待抽取的关键信息进行分类，易于归纳组成规则的信息类别，使用正则匹配的方法抽取。(2)对命名实体使用序列标注模型抽取。(3)序列标注模型采用对预训练语言模型微调的方法进行构建，首先使用大规模无标记文本语料学习得到预训练语言模型，并在预训练阶段引入词边界特征。(4)将使用规则匹配的数据内容替换为其对应的规则模板标签，以完成规则匹配与深度网络的融合。(5)根据有标记的训练数据，在预训练语言模型上进行微调，将其迁移到命名实体的序列标注任务上。本发明可以有效提取文本上下文语义特征，并且在复杂信息类别的场景下有效地识别各个信息种类。