本发明公开了一种基于三维卷积的时空特征多层次融合的行为识别方法，该方法针对行为识别任务中视频能够提供更加丰富特征信息，采用三维卷积核以及时间和空间双流框架作为网络主干，其中一个分支提取视频时间特征，另外一个分支提取视频的空间特征。在不同的行为中，考虑到视频中的行为小目标在识别网络中的高层网络部分容易特征丢失，快节奏的行为不容易被网络感受，提出了将不同感受野上的时间和空间区域的特征均考虑进网络。以多层特征融合模块来均衡空间特征和时间特征对于最后行为分类结果的影响，充分利用提取到的多层次特征。该方法提取视频中的时间和空间特征，并对其进行融合和行为识别，相较于现有相关行为识别方法，具有更高的准确性。