Patent search ap:("电子科技大学长三角研究院(湖州)") AND inv:"白闰冰" Page 1

1.

发明公开
一种基于蒸馏BERT的中文短文本分类方法无效

公开(公告)号：CN114595325A

公开(公告)日：2022-06-07

申请号：CN202111479291.3

申请日：2021-12-04

Applicant: 电子科技大学长三角研究院(湖州)

Inventor： 许文波 , 李昶霖 , 白闰冰 , 高鹏 , 袁帅 , 贾海涛

IPC: G06F16/35 , G06K9/62 , G06N3/04 , G06N3/08

Abstract: 本发明公开了一种基于蒸馏BERT的中文短文本分类方法，属于自然语言处理领域。本发明首先对输入文本进行预处理使得BERT的输出包含更多的文本信息。然后利用对原BERT进行微调得到适合文本分类的BERT模型。然后使用蒸馏的方法压缩了BERT的参数，增加了模型的运行速度。最后使用压缩后的BERT与CNN网络连接，再次进行微调，提高了对于特定文本的分类能力。

Patent Agency Ranking