一种针对低频词进行改善的中文短文本分类方法
摘要:
本发明公开了一种针对低频词进行改进的中文短文本分类方法,包括:获取文本数据集并进行训练集的划分,对训练集中的文本数据进行预处理,得到文本数据对应的词列表集合并构建低频词集;根据训练集中各个类别标签的文本数据分别构造出相应的类别特征词典;建立文本表示,将文本中的词分为三类,使用不同的转化方法,将文本数据对应的词列表集合转化为计算机能识别的文本对应的词向量列表集合;构建所述分类模型包括输入层、词注意力层、特征提取网络以及输出层,其中,所述输入层为词向量列表集合,词注意力层用于对文本数据中的词进行加权,词注意力层输出的加权后的词向量经过特征提取网络处理后,在输出层得到文本数据的分类结果。
0/0