公开(公告)号：CN116597229A

公开(公告)日：2023-08-15

申请号：CN202310632389.0

申请日：2023-05-31

Applicant: 武汉大学

Inventor： 吴黎兵 ,  蔡吉燕 ,  张壮壮 ,  王一周 ,  马超

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0895

Abstract: 本发明提供一种基于变分自编码器和多维模态对齐的零样本图像分类方法，包括以对零样本学习设置中可见类样本集和语义描述集进行定义以及各个模态进行处理的变分自编码器VAE进行建模；定义各模态在隐含空间不同维度的中间分布函数Z1、Z2以及相关损失函数LDA、LCAn、LVAEn，其中，LDA为分布对齐损失，表示不同模态间在隐含空间的距离损失函数，LCAn为交叉重建损失，表示不同模态样本进行的交叉重构损失函数，LVAEn为关于变分自编码器的损失函数；依据半监督学习算法构建基于多维信息空间对齐的n‑CADA‑VAE；准备实验训练数据和测试数据；训练并保存，然后对模型进行测试并评估，在通过评估后基于模型进行图像分类。本发明在广义零样本学习和少样本学习中都具有优异的性能。