公开(公告)号：CN111325099B

公开(公告)日：2022-08-26

申请号：CN202010069598.5

申请日：2020-01-21

Applicant: 南京邮电大学

Inventor： 刘天亮 ,  王焱章 ,  鲍秉坤 ,  谢世朋 ,  戴修斌

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开一种基于双流时空图卷积神经网络的手语识别方法及系统，首先，将手语动作视频切分为视频帧，提取手语动作视频片段中人物上半身和手部骨架点，并构建全局和局部图数据；利用双流时空图卷网络分别提取全局和局部时空特征，经过特征拼接得到全局‑局部特征；同时，将视频对应文本通过分词处理之后编码为词向量，并采用特征变换将二者映射到同一隐空间，利用动态时间规整算法进行模型训练；对全局‑局部特征序列，采用自注意力机制编解码网络对其进行序列化建模，解码器的输出采用softmax分类器获得每个视频片段所对应的单词，并组成相应文本句子。本发明能提高生成文本句子的准确率，在字幕生成、人机交互等场景中具有重要的应用价值。

公开(公告)号：CN111325099A

公开(公告)日：2020-06-23

申请号：CN202010069598.5

申请日：2020-01-21

Applicant: 南京邮电大学

Inventor： 刘天亮 ,  王焱章 ,  鲍秉坤 ,  谢世朋 ,  戴修斌

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开一种基于双流时空图卷积神经网络的手语识别方法及系统，首先，将手语动作视频切分为视频帧，提取手语动作视频片段中人物上半身和手部骨架点，并构建全局和局部图数据；利用双流时空图卷网络分别提取全局和局部时空特征，经过特征拼接得到全局-局部特征；同时，将视频对应文本通过分词处理之后编码为词向量，并采用特征变换将二者映射到同一隐空间，利用动态时间规整算法进行模型训练；对全局-局部特征序列，采用自注意力机制编解码网络对其进行序列化建模，解码器的输出采用softmax分类器获得每个视频片段所对应的单词，并组成相应文本句子。本发明能提高生成文本句子的准确率，在字幕生成、人机交互等场景中具有重要的应用价值。