公开(公告)号：CN111460142B

公开(公告)日：2022-09-23

申请号：CN202010150086.1

申请日：2020-03-06

Applicant: 南京邮电大学

Inventor： 周国强 ,  管兵

IPC: G06F16/35 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力卷积神经网络的短文本分类方法和系统，该方法包括：首先对短文本数据集进行预处理，得到词的初始特征向量，组成的短文本矩阵输入到Word2vec模型中，从而得到词向量；接着将输入短文本矩阵至Self‑attention层，对每个标记Token的上下文信息进行编码，经过卷积层、池化层后抽取短文本的高级语义特征向量，并输入至Softmax分类器进行文本分类识别；所述系统包括文本预处理模块、Word2vec预训练模块、Self‑attention模块、卷积池化模块、分类器模块。本发明在短文本特征学习模型中融合了自注意力机制，可以有效地突出上下文关键词的作用，使得模型的性能得到了很大的提高，且能够降低计算的误差，提高文本数据分类的准确率。

公开(公告)号：CN111460142A

公开(公告)日：2020-07-28

申请号：CN202010150086.1

申请日：2020-03-06

Applicant: 南京邮电大学

Inventor： 周国强 ,  管兵

IPC: G06F16/35 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力卷积神经网络的短文本分类方法和系统，该方法包括：首先对短文本数据集进行预处理，得到词的初始特征向量，组成的短文本矩阵输入到Word2vec模型中，从而得到词向量；接着将输入短文本矩阵至Self-attention层，对每个标记Token的上下文信息进行编码，经过卷积层、池化层后抽取短文本的高级语义特征向量，并输入至Softmax分类器进行文本分类识别；所述系统包括文本预处理模块、Word2vec预训练模块、Self-attention模块、卷积池化模块、分类器模块。本发明在短文本特征学习模型中融合了自注意力机制，可以有效地突出上下文关键词的作用，使得模型的性能得到了很大的提高，且能够降低计算的误差，提高文本数据分类的准确率。