本发明公开了一种基于模型共享结构的对抗纹理图像生成方法和装置。该方法包括如下步骤：将输入的原始样本图像转化为图像块序列，图像块序列输入到视觉转换器模型，进行自注意力机制运算，得到图像块序列之间的注意力不确定性权重；根据注意力不确定性权重，确定各图像块的扰动像素分配数量；将原始样本图像中的非零像素块的像素值置零，根据像素值置零前后的变化计算非零像素块对应的嵌入敏感度；根据扰动像素分配数量和嵌入敏感度生成对抗纹理图像。该方法所生成的对抗纹理图像是基于各种视觉转换器模型的共享结构，具有优越的跨模型迁移性。