公开(公告)号：CN118013201B

公开(公告)日：2024-10-01

申请号：CN202410258967.3

申请日：2024-03-07

Applicant: 暨南大学

Inventor： 黄斐然 ,  钟锦明 ,  杨紫宏 ,  刘志全 ,  林群雄 ,  孙全忠 ,  陈志荣

IPC: G06F18/10 ,  G06F18/2433 ,  G06F18/2415 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/088 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于改进BERT融合对比学习的流量异常检测方法及系统，该方法包括下述步骤：获取流量数据并进行数据预处理；构建改进BERT模型，包括嵌入层和12个Transformer的编码器网络，对前6个Transformer的编码器和后6个Transformer的编码器网络分别进行权值共享操作；构建分类网络；基于交叉熵损失和对比损失构建总损失函数；改进BERT模型进行无监督预训练；改进BERT模型进行微调训练；通过反向传播更新模型参数，得到训练后的改进BERT模型；将待测试的流量数据输入训练后的改进BERT模型，得到流量检测结果。本发明能有效提升模型的泛化能力，同时保持稳定准确率。

公开(公告)号：CN118013201A

公开(公告)日：2024-05-10

申请号：CN202410258967.3

申请日：2024-03-07

Applicant: 暨南大学

Inventor： 黄斐然 ,  钟锦明 ,  杨紫宏 ,  刘志全 ,  林群雄 ,  孙全忠 ,  陈志荣

IPC: G06F18/10 ,  G06F18/2433 ,  G06F18/2415 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/088 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于改进BERT融合对比学习的流量异常检测方法及系统，该方法包括下述步骤：获取流量数据并进行数据预处理；构建改进BERT模型，包括嵌入层和12个Transformer的编码器网络，对前6个Transformer的编码器和后6个Transformer的编码器网络分别进行权值共享操作；构建分类网络；基于交叉熵损失和对比损失构建总损失函数；改进BERT模型进行无监督预训练；改进BERT模型进行微调训练；通过反向传播更新模型参数，得到训练后的改进BERT模型；将待测试的流量数据输入训练后的改进BERT模型，得到流量检测结果。本发明能有效提升模型的泛化能力，同时保持稳定准确率。