公开(公告)号：CN116092191A

公开(公告)日：2023-05-09

申请号：CN202310062798.1

申请日：2023-01-16

Applicant: 厦门大学

Inventor： 陈毅东 ,  叶培根 ,  史晓东

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06V10/778 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种用于手语翻译的新型词级对比学习框架及手语翻译系统，涉及计算机视觉和手语语言学。新型词级对比学习框架ConSLT包括视频输入模块、视觉提取模块、手语编码模块、句子嵌入模块、手语解码模块、对比学习模块、损失计算模块、输出模块；方法：1)手语语料选取建模；2)手语视觉特征提取；3)端到端手语视频转换；4)训练阶段句子嵌入；5)构建正例对及负例对；6)手语翻译模型损失计算；7)手语翻译结果输出。从自然语言处理的角度探索手语翻译的对比学习，直接利用数据本身作为监督信息，在低资源情况下也可以学习到很好的手语表示，使手语翻译系统更精准，更流畅。ConSLT框架不受模型限制，适用于不同的模型。