基于迭代式双向迁移的神经网络机器翻译模型

    公开(公告)号:CN110674648A

    公开(公告)日:2020-01-10

    申请号:CN201910933203.9

    申请日:2019-09-29

    Applicant: 厦门大学

    Abstract: 基于迭代式双向迁移的神经网络机器翻译模型,涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移,利用双方的有效交互和相关知识的有益流动,不断完善不同领域的模型能力,从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移,并提出了多对一的领域迁移中,不同源领域到目标领域的迁移顺序问题的有效解决方案,使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛,避免了灾难性遗忘和知识稀疏问题,实现两个领域翻译模型的“双赢”。

    基于渐进式对比学习的多模态机器翻译模型的训练方法

    公开(公告)号:CN116562308A

    公开(公告)日:2023-08-08

    申请号:CN202310213158.6

    申请日:2023-03-07

    Applicant: 厦门大学

    Abstract: 本申请提出了一种基于渐进式对比学习的多模态机器翻译模型的训练方法,包括首先,获取源端句子和对应图像;接着,根据源端句子和对应图像进行多模态图的构建,其中,多模态图包括节点集合和节点集合中各个节点之间的边构成的边集合;最后,建立多模态机器翻译模型,并根据多模态图对多模态机器翻译模型进行对比学习训练,其中,在训练过程中,先采用随机负样本进行训练,并根据当前训练步数和训练总步数逐步提高难负样本的数量,直至训练完成;由此,通过在训练过程中逐渐增加难负样本的数量,从而使得多模态机器翻译模型得以在更平滑的学习过程中区分不同类型的样本,提高训练效果。

    基于多模态机器翻译模型的翻译方法

    公开(公告)号:CN111967277A

    公开(公告)日:2020-11-20

    申请号:CN202010816635.4

    申请日:2020-08-14

    Applicant: 厦门大学

    Abstract: 本发明提出了一种基于多模态机器翻译模型的翻译方法,包括获取源端句子和对应的翻译图像,并对源端句子和翻译图像进行预处理,以获得处理后的源端句子、翻译图像的全局特征和翻译图像的局部特征;建立多模态机器翻译模型,并根据对多模态机器翻译模型进行训练,其中,多模态机器翻译模型包括编码器和解码器,解码器包括上下文指导的胶囊网络;基于训练好的多模态机器翻译模型对处理后的待翻译的源端句子和对应的翻译图像进行翻译,以生成待翻译的源端句子对应的目标端句子;由此,通过在多模态机器翻译模型的解码器引入上下文指导胶囊网络进行翻译,能够在动态生成丰富的多模态表示的同时,避免引入大量参数,从而有效提升多模态机器翻译的性能。

    基于多模态机器翻译模型的翻译方法

    公开(公告)号:CN111967277B

    公开(公告)日:2022-07-19

    申请号:CN202010816635.4

    申请日:2020-08-14

    Applicant: 厦门大学

    Abstract: 本发明提出了一种基于多模态机器翻译模型的翻译方法,包括获取源端句子和对应的翻译图像,并对源端句子和翻译图像进行预处理,以获得处理后的源端句子、翻译图像的全局特征和翻译图像的局部特征;建立多模态机器翻译模型,并根据对多模态机器翻译模型进行训练,其中,多模态机器翻译模型包括编码器和解码器,解码器包括上下文指导的胶囊网络;基于训练好的多模态机器翻译模型对处理后的待翻译的源端句子和对应的翻译图像进行翻译,以生成待翻译的源端句子对应的目标端句子;由此,通过在多模态机器翻译模型的解码器引入上下文指导胶囊网络进行翻译,能够在动态生成丰富的多模态表示的同时,避免引入大量参数,从而有效提升多模态机器翻译的性能。

    基于迭代式双向迁移的神经网络机器翻译模型

    公开(公告)号:CN110674648B

    公开(公告)日:2021-04-27

    申请号:CN201910933203.9

    申请日:2019-09-29

    Applicant: 厦门大学

    Abstract: 基于迭代式双向迁移的神经网络机器翻译模型,涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移,利用双方的有效交互和相关知识的有益流动,不断完善不同领域的模型能力,从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移,并提出了多对一的领域迁移中,不同源领域到目标领域的迁移顺序问题的有效解决方案,使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛,避免了灾难性遗忘和知识稀疏问题,实现两个领域翻译模型的“双赢”。

    一种基于层次结构的神经网络机器翻译模型

    公开(公告)号:CN107423290A

    公开(公告)日:2017-12-01

    申请号:CN201710257328.5

    申请日:2017-04-19

    Applicant: 厦门大学

    Abstract: 一种基于层次结构的神经网络机器翻译模型,涉及基于深度学习的自然语言处理。使用词语对齐工具GIZA++对训练平行句对进行词对齐,然后根据标点符号和词语对齐信息将源语言句子分为单调翻译的子句;使用上述得到的子句数据来训练子句分类器;对平行句对的源语言句子进行层次结构建模;对平行句对的目标语言句子进行层次结构解码。将句子分成单调翻译的子句,然后进行词-子句-句子的层次建模,注意机制和解码:底层循环神经网络编码子句的语义表示,上层循环神经网络编码句子的信息,底层注意致力于子句内部的词级别对齐,上层注意机制则致力于子句级别的对齐。

Patent Agency Ranking