公开(公告)号：CN117218725A

公开(公告)日：2023-12-12

申请号：CN202311346663.4

申请日：2023-10-18

Applicant: 南京大学

Inventor： 殷亚凤 ,  甘世维 ,  谢磊 ,  陆桑璐

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82 ,  G06F40/126 ,  G06F40/58 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法，包括：视频数据采集模块，用于采集手语视频数据；视频预处理模块，包括：视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块；手语模型模块，用于得到手语模型；结构重参数化模块对手语模型模块得到的手语模型进行优化，得到优化后的手语模型；并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征，并将这些特征构建为一个区域感知时空图，利用浅层图卷积网络提取手语特征，并基于所提取的特征训练手语模型，采用结构重参数化技术优化模型，再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

公开(公告)号：CN111797777B

公开(公告)日：2023-10-17

申请号：CN202010648991.X

申请日：2020-07-07

Applicant: 南京大学

Inventor： 殷亚凤 ,  甘世维 ,  谢磊 ,  陆桑璐

IPC: G06V20/40 ,  G06V10/32 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045

Abstract: 本发明公开了一种基于时空语义特征的手语识别系统及方法，该系统包括：视频数据采集模块，视频数据预处理模块和手语识别模块；视频数据采集模块，用于采集手语视频数据；视频数据预处理模块对视频数据进行预处理；手语识别模块，进行手语识别，输出预测结果。本发明消除了手语图像数据与文本数据的语义鸿沟，实现了便捷地与聋哑人士进行沟通，使用前沿的神经网络算法作为翻译工具，保证了翻译的正确性。此外本发明还可以作为人机交互的一种媒介，通过用户连续手势进行分析，对智能设备进行指令控制。

公开(公告)号：CN111797777A

公开(公告)日：2020-10-20

申请号：CN202010648991.X

申请日：2020-07-07

Applicant: 南京大学

Inventor： 殷亚凤 ,  甘世维 ,  谢磊 ,  陆桑璐

IPC: G06K9/00 ,  G06K9/42 ,  G06N3/04

Abstract: 本发明公开了一种基于时空语义特征的手语识别系统及方法，该系统包括：视频数据采集模块，视频数据预处理模块和手语识别模块；视频数据采集模块，用于采集手语视频数据；视频数据预处理模块对视频数据进行预处理；手语识别模块，进行手语识别，输出预测结果。本发明消除了手语图像数据与文本数据的语义鸿沟，实现了便捷地与聋哑人士进行沟通，使用前沿的神经网络算法作为翻译工具，保证了翻译的正确性。此外本发明还可以作为人机交互的一种媒介，通过用户连续手势进行分析，对智能设备进行指令控制。