公开(公告)号：CN117437499A

公开(公告)日：2024-01-23

申请号：CN202311162719.0

申请日：2023-09-11

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 张跃文 ,  覃荣华 ,  裴俊

IPC: G06V10/774 ,  G06V10/44 ,  G06V10/46 ,  G06V10/764 ,  G06V10/82 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/096 ,  G06N3/084

Abstract: 本发明涉及一种针对CLIP提取域不变特征与优化文本的迁移学习方法，包括：使用训练图像训练特定领域的分类器；使用编码器‑解码器网络来映射训练图像，并利用训练好的特定领域的分类器从训练图像中分离出特定领域的信息；建立文本优化器，使用训练图像、以及训练图像对应的文本向量和训练图像中分离出特定领域的信息对文本优化器进行训练，得到训练好的文本优化器；建立域不变的特征提取模型，利用不同领域的训练图像对所述域不变的特征提取模型进行训练，得到训练好的域不变的特征提取模型；集成训练好的文本优化器和训练好的域不变的特征提取模型得到泛化性能提升的CLIP预训练模型。本发明能够提升CLIP预训练模型的泛化能力。