本申请公开了一种基于多模态信息融合的图像分类方法，涉及图像处理技术领域，该图像分类方法利用特征提取网络中的多尺度特征提取模块对每个模态的原始图像进行多尺度特征提取，多特征融合金字塔在FPN框架基础上结合空洞卷积层改进得到，可以有效地提取原始图像的上下文信息，多特征关联模块进一步增强多尺度特征关联，使得特征提取网络能得到原始图像的表征能力更强的单模态特征图，而在对两个单模态特征图进行多模态信息融合得到融合特征图后，除了使用融合特征图，还保留原始的单模态特征图一起利用分类网络进行分类，该方法可以充分挖掘模态内和模态间的图像信息，从而可以有效提升图像分类准确性和鲁棒性。