为了解决3D视频分类网络的特征包含较多冗余信息的问题，本发明提出了一种基于显著信息的视频分类方法。主要思想在于组合不同大小卷积核，搭建多个显著信息提取模块，获得多尺度、具有代表性的显著信息；此外，为了解决网络中传统池化单元对视频信息造成的大量损失，设计了一种卷积池化相结合的双路池化单元对显著信息提取模块的输出进行针对性池化操作；最终，为了加快网络的收敛速度，优化网络收敛路径，实现端到端的训练，本发明设计了一种全新的损失函数，最终实现更精准的视频分类。该方法可以产生具有精确表征能力的视频特征，其在动作识别和场景识别场景中进行了实验，均达到优异的效果，充分证明方法具有较强的泛化能力。