一种基于图像和文本离散化表示与字典对齐的视觉问答方法

    公开(公告)号:CN118885583A

    公开(公告)日:2024-11-01

    申请号:CN202410885414.0

    申请日:2024-07-03

    Abstract: 一种基于图像和文本离散化表示与字典对齐的视觉问答方法,首先,在预训练阶段,利用双流编码器分别对输入的图像和文本进行特征提取,然后在词汇空间中创建标记级语言建模对。接着,通过最大池化操作和归一化操作,推导出字典重要性分布,进而生成连续词袋密集瓶颈,并利用弱化的掩码文本编码器从中重建掩码文本。其次,通过大规模负样本量的稀疏词汇空间中,对图像和文本重要性得分进行对齐,从而提高图文特征匹配的性能。本方法能够高效地实现图文对齐任务,减小不同模态间的语义鸿沟,提高多模态特征融合的精度和效率。

    一种物理环境下基于优化的多模态LLM对抗攻击方法

    公开(公告)号:CN117522667A

    公开(公告)日:2024-02-06

    申请号:CN202311619459.5

    申请日:2023-11-29

    Abstract: 本发明属于大语言模型的安全技术领域,公开了一种物理环境下基于优化的多模态LLM对抗攻击方法,包括:选取图像数据集,对图像进行特征提取及可视化工作,并将随机旋转后的补丁贴到干净图像生成对抗样本,针对对抗样本区域添加正态分布增强和动量增强梯度;将计算对抗样本和目标图片的相似度并循环迭代更新补丁,将循环后的补丁贴在干净图像上面生成对抗样本,计算生成的对抗样本与预定义的目标文本之间的CLIP评分。本发明选择在图像中选取一块与补丁大小相符的区域进行扰动,从而在物理环境中实现明显的攻击效果,这一特性赋予大型语言模型更强的鲁棒性,使得对抗性研究变得更为具有深刻的研究价值。

    基于因子分解的无监督异常检测模型选择方法

    公开(公告)号:CN116992237A

    公开(公告)日:2023-11-03

    申请号:CN202311022017.2

    申请日:2023-08-14

    Abstract: 本发明提供一种基于因子分解的无监督异常检测模型选择方法,通过获得多种类型的原始训练数据集;使用原始训练数据集训练FMOD模型,挖掘数据之间的交叉特征,得到训练后的FMOD模型;当新的数据集输入时,提取新的数据集的特征,生成特征向量;输入到FMOD模型中预测,获得新的数据集在每个异常检测模型上的预测精度,生成异常检测模型推荐列表;该方法,能够充分利用因子分解的方式挖掘数据的高阶特征,能够提高模型的泛化能力和表达能力,有利于在数据特征未知的情况下为数据推荐合适的异常检测模型。

Patent Agency Ranking