公开(公告)号：CN117648935A

公开(公告)日：2024-03-05

申请号：CN202311397089.5

申请日：2023-10-26

Applicant: 桂林电子科技大学

Inventor： 林煜明 ,  方万红 ,  李优

IPC: G06F40/53 ,  G06F40/211 ,  G06F40/216 ,  G06F40/242 ,  G06F40/284 ,  G06F40/30 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明涉及自然语言处理技术领域，涉及一种基于预训练模型的中文跨语言知识增强方法，其包括以下步骤：步骤1、句子进行分词；步骤2、分词后的句子通过多语言知识增强模块中的声母知识层和翻译知识层获得翻译知识和声母知识；步骤3、将翻译知识和声母知识与原句子拼接成一棵树，使用可变注意力机制来计算树上的注意力分数；步骤4、使用BERT生成嵌入，包括标记嵌入、位置嵌入和段嵌入，同时在每个标记之后插入相应的初始辅音和翻译知识；步骤5、基于生成的注意力分数和嵌入，对编码器的输出进行了微调，以实现各种下游任务。本发明能较佳地实现中文跨语言知识增强。