公开(公告)号：CN116975714A

公开(公告)日：2023-10-31

申请号：CN202310928748.7

申请日：2023-07-27

Applicant: 北京赛思信安技术股份有限公司

Inventor： 牛松鹏 ,  董建武 ,  索帅 ,  蔡荣华 ,  刘刚

IPC: G06F18/241 ,  H04L9/40 ,  H04L41/16 ,  G06F18/2415 ,  G06F18/10 ,  G06N3/04 ,  G06N3/088

Abstract: 本发明公开了一种应用于加密流量分类的ALBERT模型的改进方法，属于网络加密流量分类领域。首先捕获一个网络流量数据包，经过预处理后，转化为ALBERT模型需要的标准输入格式。对ALBERT模型中Self‑Attention层和FFN层进行改进，得到改进后的ALBERT模型。利用ALBERT模型的标准输入，通过MLM方法，对改进后的ALBERT模型进行无监督预训练；当无监督预训练完成后，使用类别标签数据微调模型，并去除mask遮蔽层，保存最终的ALBERT模型。本发明能够有效减小资源损耗，保持稳定的准确率，应用前景更广泛。