公开(公告)号：CN113516133B

公开(公告)日：2022-06-17

申请号：CN202110355430.5

申请日：2021-04-01

Applicant: 中南大学

Inventor： 王勇 ,  袁狄 ,  何小宇

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多模态图像分类方法及系统，建立多个单模态网络特征提取模块，每个所述单模态网络特征提取模块包括多阶级联的残差模块，最后一阶残差模块依次连接池化层、全连接层和softmax层，得到单模态网络通道；所有的单模态网络通道构成单模态网络模型；利用协同注意力机制融合所述单模态网络模型中的各阶残差模块，得到融合模态网络模型；融合所述单模态网络模型和融合模态网络模型，得到分类模型。本发明可以提高分类精度。

公开(公告)号：CN113516133A

公开(公告)日：2021-10-19

申请号：CN202110355430.5

申请日：2021-04-01

Applicant: 中南大学

Inventor： 王勇 ,  袁狄 ,  何小宇

IPC: G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多模态图像分类方法及系统，建立多个单模态网络特征提取模块，每个所述单模态网络特征提取模块包括多阶级联的残差模块，最后一阶残差模块依次连接池化层、全连接层和softmax层，得到单模态网络通道；所有的单模态网络通道构成单模态网络模型；利用协同注意力机制融合所述单模态网络模型中的各阶残差模块，得到融合模态网络模型；融合所述单模态网络模型和融合模态网络模型，得到分类模型。本发明可以提高分类精度。