公开(公告)号：CN116776938A

公开(公告)日：2023-09-19

申请号：CN202310694109.9

申请日：2023-06-13

Applicant: 杭州电子科技大学

Inventor： 邵镇炜 ,  余宙 ,  罗同桉 ,  俞俊

IPC: G06N3/0475 ,  G06N3/094 ,  G06V10/764 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0499

Abstract: 本发明公开了一种基于对抗式训练的多模态适配网络学习方法，包括如下步骤：S1、构建对抗式多模态适配网络，包括多模态模型的构建和对抗式扰动生成器的构建；S2、设置损失函数，包括原始损失、扰动后损失和扰动差异损失；S3、所构建的多模态模型朝着最小化所设置的损失函数的损失方向优化，所构建的对抗式扰动生成器朝着最大化所设置的损失函数的损失方向进行优化。该方法在现有的多模态模型上搭建用于适配下游任务的适配器和用于生成对抗式噪声扰动的扰动生成器，并将适配器与扰动生成器统一在一个对抗式训练的框架中进行端到端的训练，使得多模态模型在对下游任务的适配上能够获得更好的稳健性与泛化性。

公开(公告)号：CN115331075A

公开(公告)日：2022-11-11

申请号：CN202210962059.3

申请日：2022-08-11

Applicant: 杭州电子科技大学 ,  中国电子科技集团公司电子科学研究院

Inventor： 余宙 ,  罗同桉 ,  俞俊 ,  袁柳 ,  刘弋锋 ,  许胜新

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/04

Abstract: 本发明公开了一种多模态场景图知识增强的对抗式多模态预训练方法。本发明步骤：1、构建图像区域的特征表示及图像先验知识，2、构建文本及跨模态先验知识，3、构建多模态场景图，4、构建对抗式噪声生成网络与多模态预训练网络，5、多模态场景图知识增强的对抗式预训练。本发明通过从图像和文本两个模态中提取先验知识，以此构建多模态场景图，并构建以多模态场景图知识增强的多模态自注意力网络为核心的对抗噪声生成网络，为输入的图文对数据生成噪声扰动，与多模态预训练网络进行对抗式多模态预训练，最终在下游任务上得到了更好的性能表现。