公开(公告)号：CN119048810A

公开(公告)日：2024-11-29

申请号：CN202411076021.1

申请日：2024-08-07

Applicant: 东南大学

Inventor： 魏通 ,  王佐正 ,  张敏灵

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0985 ,  G06N3/09

Abstract: 本发明公开了一种基于视觉‑语言预训练模型的长尾多标记图像分类方法，获取具有真实标记的多标记样本数据；将传统CLIP预训练模型模型中softmax层替换为sigmoid层，适应多标记任务；构建长尾多标记图像分类模型并对其进行训练；将语义融合特征与文本特征进行残差连接，与图像特征进行余弦相似度计算，并经过sigmoid得到预测概率；由重加权长尾损失函数对模型进行监督训练，并应用参数高效微调避免过拟合问题；针对待测试的图像数据，经过数据增强策略后，输入到训练后的模型中进行预测，最终获得标签的预测结果，实现长尾多标记图像分类。本发明充分利用了标签之间的相关性，缓解长尾类别分布引发的尾部类分类精度不足的影响，提高了多标记分类的准确性。