本发明公开了一种人体异常行为识别系统及方法，属于智能监控领域。本发明包括：收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度；抽取收集的异常行为的时间序列视频片段中的多帧图像，构造空域蒙版；利用空域蒙版、收集的异常行为的时间序列视频片段及对应的标签数据，训练并得到稳定的行为识别网络模型；利用输入的视频构造实时空域蒙版，并将实时空域蒙版及输入视频中对应的视频片段一并输入到模型中，由该模型输出对该视频片段的判断结果。本发明可实时处理监控系统下的人体异常行为检查，可在异常行为刚刚发生时进行及时预警，且对于监控系统中的较小目标依然能够有很好的异常行为检测。