本发明公开了一种基于深度学习的动作识别方法，包括如下步骤：对视频帧F进行提取，划分为T*16帧；对每16帧fi进行光流提取得到相应光流图；利用多尺度的3D卷积神经网络分别对连续的16帧RGB图和光流图进行特征提取，分别得到两个特征向量xoriginal和xoptical；将获得的两个特征向量串联在一起得到特征向量xi，维度为d1；重复上述步骤并行处理T次，最终得到一个维度为(d1,T)的特征矩阵X；通过一个以注意力机制为核心构建的一个网络，得到权值矩阵A；将权值矩阵A代入公式M＝A*XT获得新的特征矩阵M；将新的特征矩阵M输入至LSTM网络，再经过全连接层的降维，得到特征向量Xfinal；最后利用softmax进行分类，取最大值对应的类别为所识别的动作类别。