公开(公告)号：CN116597234A

公开(公告)日：2023-08-15

申请号：CN202310744272.1

申请日：2023-06-21

Applicant: 兰州大学

Inventor： 胡斌 ,  姚志军 ,  俞建栋 ,  李同同

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/00

Abstract: 本申请提供一种基于多模态三维卷积神经网络的图像分类方法及系统，所述方法可以在获取到不同模态的第一模态图像和第二模态图像后，通过图像分割模型提取实质掩膜，同时根据缩放因子实现第一模态图像和第二模态图像之间的位置对应，从而在第一模态图像中提取第一实质区域，在第二模态图像中提取第二实质区域。再通过图像分类模型对第一实质区域和第二实质区域进行特征提取、模态融合及特征分类，得到分类结果。所述方法将图像分割模型和图像分类模型串联联合，并采用多模态输入的三维卷积神经网络实现图像的分类，输入为两种不同模态的图像数据，使用神经网络对其进行特征提取后，将两种特征进行级联融合，从而得到分类预测结果，提高分类精度。