公开(公告)号：CN119152294B

公开(公告)日：2025-04-04

申请号：CN202411645184.7

申请日：2024-11-18

Applicant: 之江实验室

Inventor： 李亚南 ,  何林圃 ,  林峰 ,  王东辉

IPC: G06V10/764 ,  G06V10/24 ,  G06V10/774 ,  G06F18/2411

Abstract: 本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法，该方法包括：首先对输入图片添加视觉软提示提取图片特征，并将图片特征输入特征适配器获取优化后的图片特征，同时对类别标签添加文本软提示提取初步的类别文本原型；其次，将优化后的图片特征输入原型偏置器，对类别文本原型进行调整，从而获得融入视觉信息的类别文本原型；最后计算上述类别文本原型与图片特征之间的相似度，并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正，有利于提升输入图片的分类精度；本发明实现方法简便、灵活，显著提高了新类别的预测精度，同时可以有效缓解模型在旧类别的灾难性遗忘现象。

公开(公告)号：CN119152294A

公开(公告)日：2024-12-17

申请号：CN202411645184.7

申请日：2024-11-18

Applicant: 之江实验室

Inventor： 李亚南 ,  何林圃 ,  林峰 ,  王东辉

IPC: G06V10/764 ,  G06V10/24 ,  G06V10/774 ,  G06F18/2411

Abstract: 本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法，该方法包括：首先对输入图片添加视觉软提示提取图片特征，并将图片特征输入特征适配器获取优化后的图片特征，同时对类别标签添加文本软提示提取初步的类别文本原型；其次，将优化后的图片特征输入原型偏置器，对类别文本原型进行调整，从而获得融入视觉信息的类别文本原型；最后计算上述类别文本原型与图片特征之间的相似度，并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正，有利于提升输入图片的分类精度；本发明实现方法简便、灵活，显著提高了新类别的预测精度，同时可以有效缓解模型在旧类别的灾难性遗忘现象。