公开(公告)号：CN115146762A

公开(公告)日：2022-10-04

申请号：CN202210668973.7

申请日：2022-06-14

Applicant: 兰州理工大学

Inventor： 常有康 ,  赵宏 ,  王伟杰 ,  黄黛麟 ,  安定 ,  党育 ,  侯晓霞 ,  倪志敏 ,  赵凡 ,  胡质彬

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于SE模块增强ViT模型鲁棒性的方法，包括步骤：使用多种对抗攻击算法生成对抗样本，验证所提出现有的ViT模型的防御方法在面对不同对抗样本时的鲁棒性；将对抗样本输入所提出ViT模型的Convolutional Token Embedding层，然后再通过归一化层；将S2得到的特征输入SE‑Transformer块，特征首先经过SE模块，然后计算特征的Query、Key和Value值；将步骤S2、S3重复执行，并在最后阶段中添加cls分类标记；使用MLP Head预测最终的类别，计算准确率。本发明利用SE模块突出每个特征图的重要信息，抑制次要信息，有助于模型进行关键特征的提取，强化通道的特征信息，减少无用的特征；同时结合ViT模型的自注意力机制(self‑attention)可以提取特征的长距离信息。

公开(公告)号：CN115146762B

公开(公告)日：2024-10-29

申请号：CN202210668973.7

申请日：2022-06-14

Applicant: 兰州理工大学

Inventor： 常有康 ,  赵宏 ,  王伟杰 ,  黄黛麟 ,  安定 ,  党育 ,  侯晓霞 ,  倪志敏 ,  赵凡 ,  胡质彬

IPC: G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/094

Abstract: 本发明公开了一种基于SE模块增强ViT模型鲁棒性的方法，包括步骤：使用多种对抗攻击算法生成对抗样本，验证所提出现有的ViT模型的防御方法在面对不同对抗样本时的鲁棒性；将对抗样本输入所提出ViT模型的Convolutional Token Embedding层，然后再通过归一化层；将S2得到的特征输入SE‑Transformer块，特征首先经过SE模块，然后计算特征的Query、Key和Value值；将步骤S2、S3重复执行，并在最后阶段中添加cls分类标记；使用MLP Head预测最终的类别，计算准确率。本发明利用SE模块突出每个特征图的重要信息，抑制次要信息，有助于模型进行关键特征的提取，强化通道的特征信息，减少无用的特征；同时结合ViT模型的自注意力机制(self‑attention)可以提取特征的长距离信息。