公开(公告)号：CN113642422A

公开(公告)日：2021-11-12

申请号：CN202110848023.8

申请日：2021-07-27

Applicant: 东北电力大学

Inventor： 马乐 ,  吴晓越 ,  黄仰来 ,  李志伟 ,  徐东甫

IPC: G06K9/00 ,  G06K9/34 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种连续中文手语识别方法，所述方法包括：获取手语演示者视频数据信息；对视频进行ROI(RegionofInterest)处理；构建自编码器将处理后的视频输入至自编码器中得到视频每帧的特征向量；处理后的视频输入关键帧识别模块中进行关键帧的识别；通过得到的关键帧信息生成各个词的基于时间序列的注意力曲线；对得到的注意力曲线与自编码器生成的特征向量进行融合并输入至长短期记忆网络中得到视频中各个词对应的视频片段的回归结果；当全部的视频段均完成识别后，对识别出的词结果进行组合，即可完成对连续手语视频的语义的识别。本发明采用上述方式有效的实现了对连续视频的分割与逐词训练，能够对视频中的各个词进行识别，避免了包含相同词语的句子的分别训练，有效的对不同词汇组合方式的连续手语进行识别。

公开(公告)号：CN113642422B

公开(公告)日：2024-05-24

申请号：CN202110848023.8

申请日：2021-07-27

Applicant: 东北电力大学

Inventor： 马乐 ,  吴晓越 ,  黄仰来 ,  李志伟 ,  徐东甫

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明公开一种连续中文手语识别方法，所述方法包括：获取手语演示者视频数据信息；对视频进行ROI(RegionofInterest)处理；构建自编码器将处理后的视频输入至自编码器中得到视频每帧的特征向量；处理后的视频输入关键帧识别模块中进行关键帧的识别；通过得到的关键帧信息生成各个词的基于时间序列的注意力曲线；对得到的注意力曲线与自编码器生成的特征向量进行融合并输入至长短期记忆网络中得到视频中各个词对应的视频片段的回归结果；当全部的视频段均完成识别后，对识别出的词结果进行组合，即可完成对连续手语视频的语义的识别。本发明采用上述方式有效的实现了对连续视频的分割与逐词训练，能够对视频中的各个词进行识别，避免了包含相同词语的句子的分别训练，有效的对不同词汇组合方式的连续手语进行识别。