基于神经网络模型的自适应黑盒对抗攻击方法

    公开(公告)号:CN111967006A

    公开(公告)日:2020-11-20

    申请号:CN202010812915.8

    申请日:2020-08-13

    IPC分类号: G06F21/56 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于神经网络模型的自适应黑盒对抗攻击方法,属于对抗攻击领域。本发明包括:选取适应性分布并初始化其参数;在适应性分布中采样,并根据采样结果构造对抗样本;将对抗样本输入神经网络模型中,获取与该对抗样本对应的预测类别,并判断是否攻击成功,若失败,则计算对抗样本的对抗损失,并计算适应性分布下对抗损失的数学期望对适应性分布参数的梯度,并利用其更新适应性分布的参数,然后重新采样,若成功,则判断对抗样本对神经网络模型进行攻击的次数是否在规定次数范围内,若在,则攻击有效,否则,攻击无效。

    一种基于双流协同网络的视频动作分类识别方法

    公开(公告)号:CN111079594A

    公开(公告)日:2020-04-28

    申请号:CN201911228675.0

    申请日:2019-12-04

    IPC分类号: G06K9/00 G06K9/62

    摘要: 本发明为一种基于双流协同网络的视频类别识别方法,首先让异构的空域特征和时域特征进行信息交互;所述信息交互将异构的时域特征和空域特征进行融合,从融合的时空域特征中提取出时域和空域互补的部分,并将互补的部分融合进原本提取出的时域特征后空域特征中,融合后互补部分后的所有时域特征后空域特征分别构成空域序列特征后时域序列特征;然后对空域序列特征和时域序列特征进行序列特征聚合,得到聚合后的空域特征和聚合后的时域特征;最后预训练一个分类器模型用于对待识别视频进行测试分类。通过本发明可以实现不同流入模态信息的流动互补,从而达到更加精准的动作识别效果。

    一种零样本视频时刻检索方法、系统、设备及介质

    公开(公告)号:CN118132803B

    公开(公告)日:2024-08-13

    申请号:CN202410571415.8

    申请日:2024-05-10

    IPC分类号: G06F16/783 G06V10/80

    摘要: 本发明涉及计算机视觉技术领域,具体地说,涉及一种零样本视频时刻检索方法、系统、设备及介质;通过引入零样本学习,降低了视频时刻检索任务中对多模态数据进行标注对齐的开销,并能获得弱监督设定下的结果;通过CLIP多模态预训练模型的多模态嵌入空间并基于角度限制生成伪文本特征的方法,生成对应的多模态对齐关系,证明了角度正则化用于重构文本嵌入的可行性;并将角度重构嵌入与时序线索关联起来,通过多尺度多模态融合缩小了帧级和视频级编码之间的差距。

    结合自动编码器和生成对抗网络的零样本跨模态检索方法

    公开(公告)号:CN111966883B

    公开(公告)日:2024-02-23

    申请号:CN202010812271.2

    申请日:2020-08-13

    IPC分类号: G06F16/9532 G06F16/432

    摘要: 本发明公开了一种结合自动编码器和生成对抗网络的零样本跨模态检索方法,属于计算机视觉中的跨模态检索领域。本发明包括:使用预训练的模型提取各个模态的特征;为每个模态的特征构造相应的编码器,并生成相应的低维的潜在嵌入表示,并且对潜在嵌入表示进行跨分布对齐;为每个编码器构造相应的解码器,从低维的潜在嵌入表示重构每个模态的原始特征;构造相应的判别器,评估与生成器生成的特征分布和真实特征分布是否一致,若一致,则结合自动编码器和生成对抗网络联合训练整个网络;在低维的潜在嵌入空间进行零样本跨模态检索。本发明能够实现零样本跨模态检索。

    基于关系推理网络的视频和文本的跨模态检索方法

    公开(公告)号:CN113239159B

    公开(公告)日:2023-06-20

    申请号:CN202110451431.X

    申请日:2021-04-26

    摘要: 本发明涉及跨模态检索领域,公开了一种基于关系推理网络的视频和文本的跨模态检索方法,包括:提取视频数据特征和文本数据特征;运用循环神经网络获取视频全局特征和文本全局特征;运用多尺度关系推理网络构建视频局部关系特征和文本局部关系特征;分别融合单模态数据的全局特征和局部关系特征获得视频融合特征和文本融合特征;映射视频融合特征和文本融合特征到公共空间,并对齐公共空间中的视频融合特征分布和文本融合特征分布;对整体网络进行训练。本发明同时关注全局特征和局部关系特征,能更有效的聚焦到单模态数据中的重点信息,进而实现跨模态检索。

    一种无监督领域适应分类方法、系统、设备及存储介质

    公开(公告)号:CN115546567B

    公开(公告)日:2023-04-28

    申请号:CN202211528066.9

    申请日:2022-12-01

    摘要: 本发明涉及深度学习领域,具体地说,涉及一种无监督领域适应分类方法、系统、设备及存储介质;通过构建一个深度卷积网络模型,根据有标签源领域数据训练源域模型,根据源域模型构建目标域模型,训练目标域模型以执行领域适应,根据无标签目标域数据做无监督学习,提取目标域数据的特征和分类概率,并通过计算近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失,迭代地提升目标域模型的图像分类能力,消除域偏移和类不平衡所造成的误分类问题,从而实现无监督领域适应图像分类。

    基于跨模态注意力保留的组合式查询图像检索方法

    公开(公告)号:CN115858847A

    公开(公告)日:2023-03-28

    申请号:CN202310149787.7

    申请日:2023-02-22

    摘要: 本发明公开了基于跨模态注意力保留的组合式查询图像检索方法,涉及计算机视觉中的跨模态检索领域,解决现有模型学习到的保留和修改的图像特征不够精细、模型学习到的保留和修改图像部分存在交叠、缺乏充分利用不同语义信息等的技术问题;本发明先使用图像特征提取器提取不同语义层级的图像特征,和通过文本特征提取器提取文本特征,并进一步通过跨层交互模块融合不同语义层级的图像特征,然后通过自对比学习获得相对准确的目标图像中的保留和修改区域,最后通过计算余弦相似度并从高到低排序完成组合式查询图像检索,通过这种方式可以更加充分地利用不同语义层级的图像和文本特征来进行组合式查询图像检索。