本发明公开了一种手势识别方法，其通过深度可分离卷积神经网络对手势图片进行CNN特征提取，CNN特征提取后，分别提取不同尺度的深度可分离卷积网络的输出特征图，分别作为后续各特征处理网络目标检测层的输入的一部分，分别得到三个层的输出；并将三个层的输出作为整个网络的输出；然后再依据上述输出进行解析得到存在手势的概率、手势的类别、以及手势的定位，完成手势识别。所述方法通过上述融合浅层与深层特征方式，能在手势识别中同时利用图像浅层的形状、纹理及颜色等信息与深层语义信息，同时多尺度检测的方式，能很好的应对目标（手势）在图像中是大小变化，能有效的提高最终手势识别的鲁棒性。