公开(公告)号：CN116453224A

公开(公告)日：2023-07-18

申请号：CN202310437786.2

申请日：2023-04-21

Applicant: 南京邮电大学

Inventor： 管振凯 ,  戴华 ,  李惠 ,  陆雨欣 ,  高慧婷 ,  陈玉 ,  陈燕俐 ,  杨庚

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/62 ,  G06N3/0442

Abstract: 本发明属于手语识别技术领域，公开了一种基于LSTM和NLP的手语识别方法和系统，该方法包含模型训练和手语识别两个阶段，在模型训练阶段，利用手语词元数据集与姿态检测模型获取时序关键点序列样本，训练LSTM‑SL模型、利用手语常用语料库分词获得手语表征四元组，训练W2V‑SL模型；手语识别阶段包括将待识别的手语视频或实时手语画面通过LSTM‑SL转换为手语词元预测序列，并利用滑动窗口机制和W2V‑SL模型输出符合语言规范的手语语句，并在此方法上提出了手语识别系统。本发明简化了手语识别对时序特征的采集难度，有效增强了自然语句的输出效果，提高了手语识别系统的鲁棒性和准确性。