公开(公告)号：CN119829766A

公开(公告)日：2025-04-15

申请号：CN202411890125.6

申请日：2024-12-20

Applicant: 桂林电子科技大学 ,  桂林瑞威赛德科技有限公司

Inventor： 秦兴国 ,  张成 ,  李俊 ,  杨超 ,  廖然 ,  黄欣 ,  葛祎昕 ,  张慧琳

IPC: G06F16/353 ,  G06F40/284 ,  G06F40/289 ,  G06F40/30 ,  G06F18/2431 ,  G06F18/2415 ,  G06N3/045 ,  H04M1/72436

Abstract: 本发明提供一种基于RoBERTa模型的电信诈骗文本分类检测方法，通过采用深度学习和自然语言处理技术，基于RoBERTa模型的深度学习框架，构建了一种能够自动学习电信诈骗文本深层语义特征的分类模型，该模型的架构，包含多头注意力、残差连接、全连接层分类三部分。在模型训练过程中结合了交叉熵损失函数和不一致性损失函数，旨在同时优化分类准确性和模型鲁棒性。交叉熵损失函数有助于提升分类精度，而不一致性损失函数则增强了模型对异常或不确定文本的辨识能力，从而有效防止了过拟合现象，提高了模型在复杂场景中的适应性和稳定性。使用本方法能够有效地提升对电信诈骗文本的分类准确性和模型鲁棒性。