公开(公告)号：CN116453224A

公开(公告)日：2023-07-18

申请号：CN202310437786.2

申请日：2023-04-21

Applicant: 南京邮电大学

Inventor： 管振凯 ,  戴华 ,  李惠 ,  陆雨欣 ,  高慧婷 ,  陈玉 ,  陈燕俐 ,  杨庚

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/62 ,  G06N3/0442

Abstract: 本发明属于手语识别技术领域，公开了一种基于LSTM和NLP的手语识别方法和系统，该方法包含模型训练和手语识别两个阶段，在模型训练阶段，利用手语词元数据集与姿态检测模型获取时序关键点序列样本，训练LSTM‑SL模型、利用手语常用语料库分词获得手语表征四元组，训练W2V‑SL模型；手语识别阶段包括将待识别的手语视频或实时手语画面通过LSTM‑SL转换为手语词元预测序列，并利用滑动窗口机制和W2V‑SL模型输出符合语言规范的手语语句，并在此方法上提出了手语识别系统。本发明简化了手语识别对时序特征的采集难度，有效增强了自然语句的输出效果，提高了手语识别系统的鲁棒性和准确性。

公开(公告)号：CN115273233A

公开(公告)日：2022-11-01

申请号：CN202210883142.1

申请日：2022-07-26

Applicant: 南京邮电大学

Inventor： 戴华 ,  杨伟洪 ,  管振凯 ,  吴昊哲 ,  周倩 ,  陈燕俐 ,  杨庚

IPC: G06V40/20 ,  G06V10/74

Abstract: 本发明提出了基于骨骼关节点区域划分的人体姿态相似度计算方法，根据预设需求对人体骨骼关节点进行划分，并对各骨骼关节点分区的权重进行初始化；对待检测人体姿态相似度的两张图片分别提取目标人物的人体骨骼关节点数据序列，并根据各骨骼关节点置信度以及人体骨骼关节点区域划分规则，更新骨骼关节点分区的权重；以其中一张图片中的人体骨骼关节点数据序列作为参照，对另外一张图片中的人体骨骼关节点数据序列进行对齐校正处理；利用骨骼关节点分区权重和OKS算法，计算两张图片中目标人物的人体姿态相似度。本发明所述的方法考虑到了复杂场景对人体姿态相似度计算的影响，提高了基于骨骼点识别的人体姿态相似度计算的鲁棒性和准确性。