一种基于无标签样本下文本融合的图像相似性检测方法
摘要:
一种基于无标签样本下文本融合的图像相似性检测方法,属于图像相似性度量技术领域,包括以下步骤:S1:构建包含upper、middle、lower三个分支的TFCSiam模型;S2:对S1构建的模型进行训练;S3:利用S2训练好的模型进行图像间相似性度量。该方法通过引入无监督学习中的对比学习、文本融合结构只是将图像相关的文本信息作为图像特征的补充、通过图文跨模态模块将文本信息嵌入到一个图文语义共享的子空间,然后再将子空间的嵌入特征融合到图像当中等方法,实现了减小特征融合以及后续多模态投影的复杂度、提高模型预测精度、提高模型训练计算效率等效果。
0/0