本发明公开了一种基于双帧速率分治行为识别网络的动态手势识别方法，采用一种双通道三维卷积神经网络模型来提取动态手势的时空特征，所使用的输入设备为普通的USB摄像头采集的视频帧序列，通过普通USB摄像头采集手势图像和视频进能够完成手势识别，相较于使用3D传感器大大节省了设备成本，旨在能够广泛的应用于多种领域。同时本发明根据目前手势人机交互常使用的手势种类定义诸如向左、向右、确定等手势，是一种通过深度学习实现的分类问题，本发明根据常见的人机交互指令创建的手势视频数据集，在采集过程中考虑到不同场景和角度的应用情况，在虚拟现实和智能办公领域保持良好的识别准确率。