公开(公告)号：CN113486665B

公开(公告)日：2023-06-20

申请号：CN202110757350.2

申请日：2021-07-05

Applicant: 哈尔滨工业大学(深圳)

Inventor： 徐睿峰 ,  殷轶平 ,  罗璇 ,  杜嘉晨 ,  刘洋 ,  廖清

IPC: G06F40/295 ,  G06F21/62 ,  G06N3/042 ,  G06N3/047 ,  G06N3/084 ,  G06F18/214 ,  G06F18/2415

Abstract: 本发明公开了一种隐私保护文本命名实体识别方法、装置、计算机设备及存储介质，方法包括：接收多个数据持有方发送的多个训练好的教师模型，所述教师模型通过使用源数据进行训练，包括第一预训练网络和第一序列标注层，所述源数据为标注文本数据；根据多个训练好的教师模型，利用无标签的迁移集合进行多教师知识蒸馏从而训练学生模型，所述学生模型包括第二预训练网络和第二序列标注层；利用训练好的学生模型对无标签文本数据的命名实体进行预测。本发明将知识蒸馏应用于数据分散的真实场景，在数据可用不可见的前提下，通过无标签的迁移集合，训练出强大的学生模型，从而在隐私保护的前提下，保证学生模型在命名实体识别任务上的泛化性和准确性。

公开(公告)号：CN113486665A

公开(公告)日：2021-10-08

申请号：CN202110757350.2

申请日：2021-07-05

Applicant: 哈尔滨工业大学(深圳)

Inventor： 徐睿峰 ,  殷轶平 ,  罗璇 ,  杜嘉晨 ,  刘洋 ,  廖清

IPC: G06F40/295 ,  G06F21/62 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种隐私保护文本命名实体识别方法、装置、计算机设备及存储介质，方法包括：接收多个数据持有方发送的多个训练好的教师模型，所述教师模型通过使用源数据进行训练，包括第一预训练网络和第一序列标注层，所述源数据为标注文本数据；根据多个训练好的教师模型，利用无标签的迁移集合进行多教师知识蒸馏从而训练学生模型，所述学生模型包括第二预训练网络和第二序列标注层；利用训练好的学生模型对无标签文本数据的命名实体进行预测。本发明将知识蒸馏应用于数据分散的真实场景，在数据可用不可见的前提下，通过无标签的迁移集合，训练出强大的学生模型，从而在隐私保护的前提下，保证学生模型在命名实体识别任务上的泛化性和准确性。