公开(公告)号：CN112257513A

公开(公告)日：2021-01-22

申请号：CN202011032048.2

申请日：2020-09-27

Applicant: 南京工业大学

Inventor： 陈玉明 ,  戈康启 ,  秦午阳 ,  徐鹏翔 ,  何毅 ,  梅雪

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统，属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理，提取手语视频中人物区域，并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪，使用第一网络模块提取手部特征，使用第二网络模块提取人体特征；将所提取的手部特征与人体特征利用全连接层进行特征信息融合，训练得到孤立词的权重模型；将所得到孤立词的权重模型作为第三网络模块的预训练模型，并利用第三网络模块对连续语句视频进行特征提取；将提取结果，输入Seq2Seq模型中进行训练，得到训练好的手语视频翻译模型，并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好，准确率高。

公开(公告)号：CN112257513B

公开(公告)日：2023-07-25

申请号：CN202011032048.2

申请日：2020-09-27

Applicant: 南京工业大学

Inventor： 陈玉明 ,  戈康启 ,  秦午阳 ,  徐鹏翔 ,  何毅 ,  梅雪

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统，属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理，提取手语视频中人物区域，并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪，使用第一网络模块提取手部特征，使用第二网络模块提取人体特征；将所提取的手部特征与人体特征利用全连接层进行特征信息融合，训练得到孤立词的权重模型；将所得到孤立词的权重模型作为第三网络模块的预训练模型，并利用第三网络模块对连续语句视频进行特征提取；将提取结果，输入Seq2Seq模型中进行训练，得到训练好的手语视频翻译模型，并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好，准确率高。