本发明公开了一种基于时空自编码器网络和时空CNN的行为异常检测方法，考虑群体异常行为稀少并且难以界定，检测模型难以学习到异常行为的特征信息，先用正样本训练时空自编码器网络，再将包含异常行为的视频输入时空自编码器网络，通过选择重建误差阈值筛选负样本，对筛选后负样本再进行扩充，减轻正负样本不均衡的程度；通过筛选后的负样本和原有正样本训练时空CNN，得到最终的检测模型；通过构建时空自编码器网络网络和时空CNN，这两个网络都可以从视频中提取高级语义特征，实现了视频图像中异常人群行为的检测，并提高了该算法在各种场景下的适用性。由于时空CNN模型结构简单，可以在仅使用CPU的环境中实现高精度的实时检测。