本发明提出一种利用姿态掩模进行人体行为识别的方法，属于行为识别技术领域。本发明包括：利用前置的二维姿态估计网络从RGB视频的帧图像中提取热力图，对热力图进行多点高斯扩散，获得姿态掩模，将姿态掩模与原始图像融合后得到的图像样本作为是时空神经网络的输入，利用标记了人体行为类别标签的训练集训练时空神经网络，进而得到用于人体行为识别的模型。本发明方法通过姿态掩模提取由姿态估计得出的人体骨骼关键点位置区域的空间特征，对图像背景的变化具有强鲁棒性，并且识别网络参数少，训练成本低，人体行为的识别准确率高。