公开(公告)号：CN114676777B

公开(公告)日：2024-11-01

申请号：CN202210306415.6

申请日：2022-03-25

Applicant: 中国科学院软件研究所

Inventor： 汲如意 ,  李佳盈 ,  张立波 ,  武延军

IPC: G06V10/764 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0895 ,  G06V10/82

Abstract: 本发明公开了一种基于孪生网络的自监督学习细粒度图像分类方法。本发明首先利用注意力编码器提取图像的深度卷积特征，获取蕴含语义信息的注意力图并通过双线性池化方式编码图像特征；其次从原始图像上定位出注意力图上高响应值所在的显著区域，对显著区域进行裁切和擦除操作，从而形成不同视角的视图，以自监督的方式学习视角不变性特征；最后联合中心损失函数以及一致性损失函数，显示地约束不同视角特征，保持它们的类内一致性。本发明方法使得网络获得显著的性能增益，可以在细粒度图像分类的基线上显著提升分类准确度。

公开(公告)号：CN114676776B

公开(公告)日：2024-11-01

申请号：CN202210305985.3

申请日：2022-03-25

Applicant: 中国科学院软件研究所

Inventor： 汲如意 ,  李佳盈 ,  张立波 ,  武延军

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer的细粒度图像分类方法。本方法为：1)将样本图像输入线性映射和编码器层中提取多层令牌特征；2)通过令牌特征选择模块作用于编码器提取的多层令牌特征；3)通过语义部件生成模块作用于第一层令牌特征，获取包含辨识性视觉图案的局部区域，利用局部分支学习该区域内对象的细节信息；4)将两个分支的分类令牌交换，编码器作用于交换后的分类令牌与当前分支的图像块令牌，融合全局分支提取的图像完整信息与局部分支获取的关键区域的细节信息；5)通过中心损失函数约束细粒度对象类内特征距离，间接地增大类间特征距离；6)连接两个分支的分类令牌，输入到分类器，从而实现对输入图像的分类。

公开(公告)号：CN114676776A

公开(公告)日：2022-06-28

申请号：CN202210305985.3

申请日：2022-03-25

Applicant: 中国科学院软件研究所

Inventor： 汲如意 ,  李佳盈 ,  张立波 ,  武延军

IPC: G06K9/62 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明公开了一种基于Transformer的细粒度图像分类方法。本方法为：1)将样本图像输入线性映射和编码器层中提取多层令牌特征；2)通过令牌特征选择模块作用于编码器提取的多层令牌特征；3)通过语义部件生成模块作用于第一层令牌特征，获取包含辨识性视觉图案的局部区域，利用局部分支学习该区域内对象的细节信息；4)将两个分支的分类令牌交换，编码器作用于交换后的分类令牌与当前分支的图像块令牌，融合全局分支提取的图像完整信息与局部分支获取的关键区域的细节信息；5)通过中心损失函数约束细粒度对象类内特征距离，间接地增大类间特征距离；6)连接两个分支的分类令牌，输入到分类器，从而实现对输入图像的分类。

公开(公告)号：CN114676777A

公开(公告)日：2022-06-28

申请号：CN202210306415.6

申请日：2022-03-25

Applicant: 中国科学院软件研究所

Inventor： 汲如意 ,  李佳盈 ,  张立波 ,  武延军

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于孪生网络的自监督学习细粒度图像分类方法。本发明首先利用注意力编码器提取图像的深度卷积特征，获取蕴含语义信息的注意力图并通过双线性池化方式编码图像特征；其次从原始图像上定位出注意力图上高响应值所在的显著区域，对显著区域进行裁切和擦除操作，从而形成不同视角的视图，以自监督的方式学习视角不变性特征；最后联合中心损失函数以及一致性损失函数，显示地约束不同视角特征，保持它们的类内一致性。本发明方法使得网络获得显著的性能增益，可以在细粒度图像分类的基线上显著提升分类准确度。