公开(公告)号：CN111967277B

公开(公告)日：2022-07-19

申请号：CN202010816635.4

申请日：2020-08-14

Applicant: 厦门大学

Inventor： 苏劲松 ,  林欢 ,  尹永竞 ,  周楚伦 ,  姚俊峰

IPC: G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于多模态机器翻译模型的翻译方法，包括获取源端句子和对应的翻译图像，并对源端句子和翻译图像进行预处理，以获得处理后的源端句子、翻译图像的全局特征和翻译图像的局部特征；建立多模态机器翻译模型，并根据对多模态机器翻译模型进行训练，其中，多模态机器翻译模型包括编码器和解码器，解码器包括上下文指导的胶囊网络；基于训练好的多模态机器翻译模型对处理后的待翻译的源端句子和对应的翻译图像进行翻译，以生成待翻译的源端句子对应的目标端句子；由此，通过在多模态机器翻译模型的解码器引入上下文指导胶囊网络进行翻译，能够在动态生成丰富的多模态表示的同时，避免引入大量参数，从而有效提升多模态机器翻译的性能。

公开(公告)号：CN111967277A

公开(公告)日：2020-11-20

申请号：CN202010816635.4

申请日：2020-08-14

Applicant: 厦门大学

Inventor： 苏劲松 ,  林欢 ,  尹永竞 ,  周楚伦 ,  姚俊峰

IPC: G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于多模态机器翻译模型的翻译方法，包括获取源端句子和对应的翻译图像，并对源端句子和翻译图像进行预处理，以获得处理后的源端句子、翻译图像的全局特征和翻译图像的局部特征；建立多模态机器翻译模型，并根据对多模态机器翻译模型进行训练，其中，多模态机器翻译模型包括编码器和解码器，解码器包括上下文指导的胶囊网络；基于训练好的多模态机器翻译模型对处理后的待翻译的源端句子和对应的翻译图像进行翻译，以生成待翻译的源端句子对应的目标端句子；由此，通过在多模态机器翻译模型的解码器引入上下文指导胶囊网络进行翻译，能够在动态生成丰富的多模态表示的同时，避免引入大量参数，从而有效提升多模态机器翻译的性能。