公开(公告)号：CN116756624B

公开(公告)日：2023-12-12

申请号：CN202311034914.5

申请日：2023-08-17

Applicant: 中国民用航空飞行学院

Inventor： 许雅玺 ,  史珂 ,  王欣 ,  郑涛 ,  干镞锐

IPC: G06F16/35 ,  G06F40/20 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明涉及文本分类技术领域，涉及一种面向民航监管事项检查记录处理的文本分类方法，首先，通过RoFormer‑Sim解决了样本类别不平衡的问题。其次，在嵌入层中使用RoBERTa获得字向量。然后，使用TextRCNN的结构通过特征提取来提取文本中包含的信息。同时，在池化层中使用了空洞卷积来防止重要信息的丢失，并使用概率稀疏自注意力ProbSparse Self‑Attention来获得不同字嵌入向量的权重。本发明在民航监管事项检查记录数据集上的分类F1值达到96.31％。与其他经典的深度学习算法的对比实验结果表(56)对比文件冯媛媛 等.基于BiLSTM+Self-Attention的多性格微博情感分类《.西华大学学报(自然科学版)》.2022,第41卷(第01期),67-76.杨春霞 等.融合RoBERTa-GCN-Attention的隐喻识别与情感分类模型《.小型微型计算机系统》.2023,1-9.张劭韡 等.融合注意力机制的RoBERTa-BiLSTM-CRF语音对话文本命名实体识别《.数字技术与应用》.2023,第41卷(第05期),4-6+51.Shulin Hu 等.Domain Knowledge GraphQuestion Answering Based on SemanticAnalysis and Data Augmentation《.AppliedSciences》.2023,第13卷(第15期),1-23.A. T. Haryono 等.Transformer-GatedRecurrent Unit Method for PredictingStock Price Based on News Sentiments andTechnical Indicators《.IEEE Access》.2023,第11卷77132-77146.Z. Guo 等.Research on Short TextClassification Based on RoBERTa-TextRCNN.《2021 International Conference onComputer Information Science andArtificial Intelligence (CISAI)》.2022,845-849.F. Wang 等.Sentiment analysis ofmovie reviews based on pretraining anddual branch coding《.2021 InternationalConference on Computer InformationScience and Artificial Intelligence(CISAI)》.2022,721-725.韩建胜 等.基于双向时间深度卷积网络的中文文本情感分类《.计算机应用与软件》.2019,(第12期),225-231.

公开(公告)号：CN116756624A

公开(公告)日：2023-09-15

申请号：CN202311034914.5

申请日：2023-08-17

Applicant: 中国民用航空飞行学院

Inventor： 许雅玺 ,  史珂 ,  王欣 ,  郑涛 ,  干镞锐

IPC: G06F18/24 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明涉及文本分类技术领域，涉及一种面向民航监管事项检查记录处理的文本分类方法，首先，通过RoFormer‑Sim解决了样本类别不平衡的问题。其次，在嵌入层中使用RoBERTa获得字嵌入向量。然后，使用TextRCNN的结构通过特征提取来提取文本中包含的信息。同时，在池化层中使用了空洞卷积来防止重要信息的丢失，并使用概率稀疏自注意力ProbSparse Self‑Attention来获得不同字嵌入向量的权重。本发明在民航监管事项检查记录数据集上的分类F1值达到96.31%。与其他经典的深度学习算法的对比实验结果表明，本发明在短文本数据集上应用表现良好。