本发明属于图像处理技术领域，具体涉及基于图像增强和3D卷积神经网络的视频行为识别方法，包括将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片；使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；将两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。本发明能够准确并实时识别出视频中人物的行为，且更加充分的利用图像信息，提高视频中行为识别的准确率。