公开(公告)号：CN117591884A

公开(公告)日：2024-02-23

申请号：CN202311670097.2

申请日：2023-12-07

Applicant: 华中科技大学

Inventor： 何琨 ,  于振 ,  陈振华 ,  温伟高 ,  付俊豪 ,  廉美惠 ,  薛晖

IPC: G06F18/214 ,  G06F18/2413 ,  G06F18/25

Abstract: 本发明公开了视觉语言多模态对抗样本生成方法及其应用，属于视觉语言多模态分类领域，包括：获得目标视觉语言多模态分类任务的训练样本，将其中的图像划分为多个图像块，并将其中的文本划分为多个单词，将图像块和单词作为扰动对象；将训练样本输入目标视觉语言多模态分类任务的分类模型，得到原始预测输出；对于每一个扰动对象，将其从训练样本中遮盖后输入分类模型，得到新的预测输出后，计算相对于原始预测输出的变化幅度并归一化，作为该扰动对象的重要性；按照重要性由大到小的顺序依次选取训练样本中的扰动对象并替换为其他对象，直至替换后，将替换所得训练样本输入分类模型后产生错误的分类结果；将当前的训练样本作为一个对抗样本。