-
公开(公告)号：CN112257513B
公开(公告)日：2023-07-25
申请号：CN202011032048.2
申请日：2020-09-27
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统，属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理，提取手语视频中人物区域，并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪，使用第一网络模块提取手部特征，使用第二网络模块提取人体特征；将所提取的手部特征与人体特征利用全连接层进行特征信息融合，训练得到孤立词的权重模型；将所得到孤立词的权重模型作为第三网络模块的预训练模型，并利用第三网络模块对连续语句视频进行特征提取；将提取结果，输入Seq2Seq模型中进行训练，得到训练好的手语视频翻译模型，并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好，准确率高。
-
公开(公告)号：CN112307778B
公开(公告)日：2023-11-24
申请号：CN202011288192.2
申请日：2020-11-17
Applicant: 南京工业大学
IPC: G06F40/58 , G06V20/40 , G06V40/20 , G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/092
Abstract: 本发明公开了一种特定场景手语视频的翻译模型训练方法、翻译方法及系统，属于视频自然语言生成领域。本发明训练时，首先通过构建的actor‑double‑critic深度强化学习训练架构对过滤网络进行训练，再利用训练好的过滤网络筛选出手语视频的关键帧序列集，最后基于深度学习对深度序列自编码网络进行训练。过滤网络去除了视频帧的时空冗余，深度序列自编码网络融合了注意力机制，从而使得训练出的手语视频翻译模型具有较高的翻译准确率，并进一步地提出特定场景手语视频的翻译方法及系统，在训练出的翻译模型具有较高的翻译准确性的基础上，进行手语视频翻译，从而有效地提高了手语视频
-
公开(公告)号：CN112257513A
公开(公告)日：2021-01-22
申请号：CN202011032048.2
申请日：2020-09-27
Applicant: 南京工业大学
Abstract: 本发明公开了一种手语视频翻译模型的训练方法、翻译方法及系统，属于模式识别与智能系统领域。本发明首先对孤立词数据集中的手语视频数据进行预处理，提取手语视频中人物区域，并利用Mask R‑CNN网络模型对运动的手部进行检测和跟踪，使用第一网络模块提取手部特征，使用第二网络模块提取人体特征；将所提取的手部特征与人体特征利用全连接层进行特征信息融合，训练得到孤立词的权重模型；将所得到孤立词的权重模型作为第三网络模块的预训练模型，并利用第三网络模块对连续语句视频进行特征提取；将提取结果，输入Seq2Seq模型中进行训练，得到训练好的手语视频翻译模型，并进一步地提出了翻译方法和系统架构。本发明对手语视频翻译的效果好，准确率高。
-
Patent Agency Ranking
公开(公告)号：CN112861823B
公开(公告)日：2025-02-28
申请号：CN202110365813.0
申请日：2021-04-06
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/80 , G06V10/764 , G06Q10/0631
Abstract: 本申请公开了一种用于工件安装关键工序视觉检测与定位的方法及装置，属于视频行为识别领域。在进行工件安装工序检测和定位时，首先采集工件安装过程视频图像，提取图像特征用于待检测工序的粗定位；根据粗定位的结果以及工件整个安装工序所需的时间，截取工件安装中待检测工序的视频；将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征，并进行分类，根据分类结果判断工件安装工序是否合格。本申请的装置能够实现本申请的相应方法步骤。本申请能够对工件安装工序视频进行有效的检测和定位，解决了现有技术对工厂中工件安装工序检测效果不佳的问题。
-
公开(公告)号：CN114842547A
公开(公告)日：2022-08-02
申请号：CN202210029311.5
申请日：2022-01-11
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/25 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/94 , G06V10/96 , G06N3/04 , G06N3/08 , G09B21/04 , G06K9/62
Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统，属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练，生成姿态生成模型，并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学，供学习者模仿；然后利用双流VTN网络对手语数据集进行训练，生成手语翻译模型，并对学习者的动作与标准库手语教学动作进行相似度评估，反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明，丰富了聋哑人教学的模式，能够方便聋哑人士自主学习手语并提高了学习的兴趣，保证了手语教学的效率和质量。
-
公开(公告)号：CN112307778A
公开(公告)日：2021-02-02
申请号：CN202011288192.2
申请日：2020-11-17
Applicant: 南京工业大学
Abstract: 本发明公开了一种特定场景手语视频的翻译模型训练方法、翻译方法及系统，属于视频自然语言生成领域。本发明训练时，首先通过构建的actor‑double‑critic深度强化学习训练架构对过滤网络进行训练，再利用训练好的过滤网络筛选出手语视频的关键帧序列集，最后基于深度学习对深度序列自编码网络进行训练。过滤网络去除了视频帧的时空冗余，深度序列自编码网络融合了注意力机制，从而使得训练出的手语视频翻译模型具有较高的翻译准确率，并进一步地提出特定场景手语视频的翻译方法及系统，在训练出的翻译模型具有较高的翻译准确性的基础上，进行手语视频翻译，从而有效地提高了手语视频翻译的准确性。
-
公开(公告)号：CN114842547B
公开(公告)日：2024-12-03
申请号：CN202210029311.5
申请日：2022-01-11
Applicant: 南京工业大学
IPC: G06V40/20 , G06V10/25 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/94 , G06V10/96 , G06N3/0475 , G06N3/084 , G06N3/094 , G09B21/04
Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统，属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练，生成姿态生成模型，并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学，供学习者模仿；然后利用双流VTN网络对手语数据集进行训练，生成手语翻译模型，并对学习者的动作与标准库手语教学动作进行相似度评估，反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明，丰富了聋哑人教学的模式，能够方便聋哑人士自主学习手语并提高了学习的兴趣，保证了手语教学的效率和质量。
-
公开(公告)号：CN112861823A
公开(公告)日：2021-05-28
申请号：CN202110365813.0
申请日：2021-04-06
Applicant: 南京工业大学
Abstract: 本申请公开了一种用于工件安装关键工序视觉检测与定位的方法及装置，属于视频行为识别领域。在进行工件安装工序检测和定位时，首先采集工件安装过程视频图像，提取图像特征用于待检测工序的粗定位；根据粗定位的结果以及工件整个安装工序所需的时间，截取工件安装中待检测工序的视频；将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征，并进行分类，根据分类结果判断工件安装工序是否合格。本申请的装置能够实现本申请的相应方法步骤。本申请能够对工件安装工序视频进行有效的检测和定位，解决了现有技术对工厂中工件安装工序检测效果不佳的问题。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.025 seconds)
