公开(公告)号：CN119314226A

公开(公告)日：2025-01-14

申请号：CN202411345099.9

申请日：2024-09-25

Applicant: 南京工业大学

Inventor： 陆承涛 ,  王莉 ,  董俊逸 ,  苏子轩 ,  孙业翔 ,  沈捷

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/764 ,  G06V20/40 ,  G06N3/0455

Abstract: 本发明提供一种基于多模态融合的动态手势识别方法。首先，获取动态手势数据集作为训练样本，包含RGB图像和深度图像两种模态的视频流；对训练样本进行预处理；构建多模态手势分类识别模型；采用动态梯度调制方法优化算法，将预处理后的训练样本输入构建的多模态手势分类识别模型进行训练；获取待识别的动态手势数据，经预处理后输入训练好的多模态手势分类识别模型获取分类识别结果。本发明提出了一种基于多模态融合的动态手势识别方法，通过平衡不同模态的优化速度有效降低了模态间的异质性，可以充分利用RGB图像与深度图像的互补信息，获取丰富的特征信息，提升了多模态动态手势识别模型的性能。