公开(公告)号：CN113239700A

公开(公告)日：2021-08-10

申请号：CN202110459186.7

申请日：2021-04-27

Applicant: 哈尔滨理工大学

Inventor： 王庆岩 ,  顾金铭 ,  殷楠楠 ,  谢金宝 ,  梁欣涛 ,  沈涛

IPC: G06F40/30 ,  G06F16/335 ,  G06F16/35 ,  G06F40/126 ,  G06F40/216 ,  G06F40/284 ,  G06F40/289

Abstract: 改进BERT的文本语义匹配设备、系统、方法及存储介质，尤其涉及文本语义匹配、BER、词粒度、相对位置编码和注意力池化的匹配设备、系统、方法及存储介质，属于自然语言处理领域；目的是解决BERT模型训练时间较长、绝对位置编码未能表明句子中词与词间的相对位置和输出文本表示不能完全利用BERT模型输出的文本表示序列的问题；本发明通过建立所述传输层中的词嵌入机制、所述编码层的相对位置编码机制以及通过所述输出层对池化后的注意力机制处理文本，完成后续文本语义匹配；本发明不仅提高了文本匹配的准确率，更加准确体现句子的不同位置和不同位置间的信息，并采用注意力池化方式，得到降维后的文本表示包含更多的语义信息。