公开(公告)号：CN117392438A

公开(公告)日：2024-01-12

申请号：CN202311246864.7

申请日：2023-09-25

Applicant: 北京邮电大学 ,  中国科学院计算技术研究所

Inventor： 王鹏飞 ,  樊静波 ,  张瑾

IPC: G06V10/764 ,  G06V10/80 ,  G06F18/25 ,  G06F18/2431 ,  G06F16/35 ,  G06F16/33 ,  G06F40/30

Abstract: 本公开提供一种面向多模态数据的分类方法及相关设备，包括：提取目标数据的图像特征；确定所述目标数据的向量化表示，并基于所述基于所述向量化表示对所述图像特征进行增强处理，得到增强后的图像特征；将所述向量化表示和所述增强后的图像特征进行拼接，得到所述目标数据的融合特征；基于所述融合特征对所述目标数据进行分类处理。本公开中，首先提取了数据的图像特征，然后基于数据的类型对图像特征进行了增强，之后再将增强后的图像特征与数据的向量化表示，以及数据的文本特征进行了拼接进而得到了数据的融合特征，最后使用此融合特征对数据进行了分类处理。