本发明公开了一种基于无线信号和视频信息的多模态手势识别方法：步骤S1：采集无线信号和手势视频数据；步骤S2：获取CSI信息；步骤S3：得到幅值序列；步骤S4：对幅值序列预处理；步骤S5：将预处理的CSI数据分为有标签和无标签两部分；步骤S6：循环训练完成CSI特征提取；步骤S7：得到手势动作图；步骤S8：得到骨架手势动作数据集；步骤S9：提取手势视频骨架特征；步骤S10：得到视频流手势动作特征；步骤S11：融合；步骤S12：对融合特征进行手势预测得到识别结果。本发明解决了基于单模态的手势识别方法中因多变的环境等固有限制因素导致识别精度下降的问题，提升了手势识别模型的识别准确率和鲁棒性，可广泛应用于手势识别乃至动作识别领域。