一种多模态翻译模型的训练方法及装置

    公开(公告)号:CN117058951A

    公开(公告)日:2023-11-14

    申请号:CN202311318445.X

    申请日:2023-10-12

    Abstract: 本发明公开了一种多模态翻译模型的训练方法及装置,涉及人工智能技术领域。包括:获取待生成手语视频的手语文本、和/或待生成手语文本的手语视频;将手语文本和/或手语视频输入到训练好的手语翻译模型;其中,手语翻译模型的训练采用无监督的训练方法;根据手语文本以及手语翻译模型,得到手语文本对应的手语视频,和/或,根据手语视频以及手语翻译模型,得到手语视频对应的手语文本。本发明在模型的训练过程中,采用无监督的训练方法,不需要对模型的训练数据进行人工标签标注,使用无标注数据可以实现手语视频生成任务的训练,并达到生成手语视频生成的效果,节省了人力物力,从而节省了手语翻译模型的训练成本。

Patent Agency Ranking