公开(公告)号：CN118069857A

公开(公告)日：2024-05-24

申请号：CN202311522595.2

申请日：2023-11-15

Applicant: 安徽大学

Inventor： 范存航 ,  陈玉杰 ,  吕钊 ,  李平

IPC: G06F16/36 ,  G06F18/214 ,  G06N3/09 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明属于人工智能技术领域，具体涉及一种基于Transfomer和渐进式蒸馏的知识图谱补全方法、系统和装置。该方案包括：一、获取由大量三元组向量构成的用于模型训练的样本数据集；二、将样本数据集进行重度掩码处理，用于对基于Transfomer的语言模型进行预训练；三、将经过预训练的语音模型作为教师模型，教师模型精简后作为学生模型，构建自监督学习框架；四、对教师模型和学生模型进行渐进式蒸馏；每一轮的渐进式蒸馏过程中，均降低样本数据的掩码率，同时，将学生模型作为教师模型，并将学生模型精简后作为下一轮的学生模型。最后保存满足精度和轻量化的模型用户后续的知识图谱补全任务。本发明解决现有语言模型参数过大，无法满足轻量化应用要求的问题。