公开(公告)号：CN118245598A

公开(公告)日：2024-06-25

申请号：CN202410200268.3

申请日：2024-02-23

Applicant: 湖州师范学院

Inventor： 程兆麟 ,  曾孟佳 ,  王语嘉

IPC: G06F16/35 ,  G06F16/33 ,  G06F40/30 ,  G06F18/2431 ,  G06F18/2415 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明公开了一种基于双通道特征提取的文本分类模型，深度学习的发展使得预训练模型在文本表示上取得重大成就，预训练+微调的模式成为文本分类的主流做法，为了优化特征提取能力，本文提出了一种双通道特征提取方案，其中一个通道使用动态池化策略改进卷积神经网络的池化层，把特征值保留个数与网络层数建立联系，动态保留文本特征信息，另一通道把神经元的顺序信息与自然语言中的句法信息对应起来，达到给神经元排序的效果，通过计算信息层级，控制层级更新频率来标识层次级别，实现学习自然语言句法层级结构的目的，使用多头注意力机制融合两个通道提取到的文本特征，在三个领域的数据集上的实验显示本文提出的双通道特征提取模型的有效性。