公开(公告)号：CN119418123A

公开(公告)日：2025-02-11

申请号：CN202411558624.5

申请日：2024-11-04

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/774 ,  G06N5/04

Abstract: 本发明提出一种基于多模态模型CLIP的隐空间净化的图像分类方法和装置，包括：将待分类图片输入图文多模态对比预训练模型的图像编码器，得到待分类图片在隐空间上的表示向量；使用图文多模态对比预训练模型的文本编码器，得到空类别文本所表示的空类别文本嵌入向量；计算表示向量和空类别文本嵌入向量的概率似然值；提取表示向量的向量长度与方向矢量，计算似然概率值对方向矢量的梯度，采用梯度上升方法对方向矢量进行更新同时保持向量长度不变，得到净化向量；通过选择与最终净化向量相似度最高的类别文本嵌入向量，将类别文本嵌入向量对应的图像类别作为类别文本嵌入向量的分类结果。

公开(公告)号：CN119418108A

公开(公告)日：2025-02-11

申请号：CN202411467737.4

申请日：2024-10-21

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  陈全润 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/094 ,  G06N5/025

Abstract: 本发明提出一种基于因果扩散模型的鲁棒图像分类方法，包括：通过条件扩散模型建模结构因果模型；从图像数据集采集作为训练样本的样本图像；通过结构因果模型提取训练样本的因果特征和非因果特征并计算因果信息瓶颈，最大化因果信息瓶颈，更新结构因果模型，得到中间模型；采用中间模型生成该训练样本的因果特征，指导中间模型预测训练样本的预测类别，并根据训练样本的预测类别和类别标签构建损失函数，训练中间模型，得到图像分类模型；获取已标记目标类别的对抗样本图像，应用图像分类模型对接收的对抗样本进行净化处理，得到净化图像；利用图像分类模型提取净化图像的因果特征，并基于净化图像的因果特征得到净化图像的图像分类结果。