公开(公告)号：CN117689930A

公开(公告)日：2024-03-12

申请号：CN202311492992.X

申请日：2023-11-10

Applicant: 上海交通大学

Inventor： 潘美虹 ,  沈红斌

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/762 ,  G06V10/80 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0895 ,  G06N3/0464

Abstract: 一种基于多模态线性规划的小样本分类方法，通过构造并训练用来预测无标签样本的语义特征的视觉到语义的自编码器，将无标签样本的聚类中心映射到语义空间后，通过线性规划模型在语义空间中使用类别语义特征作为基准语义特征，为无标签样本聚类中心分配标签以匹配初始原型和聚类中心并得到修正后的类别原型，经多模态特征组合后基于交替最小二乘(ALS)的改进优化策略对来支撑集样本以及查询集样本的特征向量和权重矩阵交替优化，迭代至预测分数的相对残差不再变化，得到减轻特征表示偏差以及分类器权重偏差的结果。本发明通过自编码器来预测查询样本的语义特征，解决支撑样本和查询样本的信息不平衡问题；通过多模态的特征修正机制减小类别表征的偏差；采用交替优化的方式优化特征表示和分类器权重。

公开(公告)号：CN117994572A

公开(公告)日：2024-05-07

申请号：CN202410045549.6

申请日：2024-01-12

Applicant: 上海交通大学

Inventor： 潘美虹 ,  沈红斌

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/08

Abstract: 一种基于多模态变分对比学习的小样本分类方法，在离线阶段构建并采用支撑集训练变分自编码器，通过训练后的变分自编码器进行支撑集扩增；进而构建并采用扩增后的支撑集训练多模态实例到分布转换模型(I2D)；在在线阶段通过训练后的多模态实例到分布转换模型进行特征点到分布的转换，实现更准确的小样本分类。本发明通过变分推断学习将实例级别的多模态特征转换为分布级别的表示，减轻小样本所产生的类别原型偏差问题以及提高样本特征的可区分性。