公开(公告)号：CN117494730A

公开(公告)日：2024-02-02

申请号：CN202311298001.4

申请日：2023-10-09

Applicant: 大连理工大学

Inventor： 黄德根 ,  刘俊鹏 ,  李玖一 ,  余浩

IPC: G06F40/58 ,  G06N20/00

Abstract: 一种基于多模态对比学习的多语言语音神经机器翻译方法，利用多个双语翻译词典构建多语言翻译词典，在原始的语音识别数据基础上通过对文本中的词语进行随机替换的方式构建伪语音识别数据；在原始语音识别数据和构建的伪数据基础上，利用句子级对比学习算法对语音编码器和文本词嵌入层进行训练，将语音表示和文本表示映射到同一表示空间；利用词级别对比学习算法对语音编码器和文本词嵌入层进行继续训练，提升词级别跨语言跨模态对齐的准确率；利用训练好的语音编码器和文本词嵌入层对语音翻译模型进行初始化，在多语言翻译任务、语音识别、语音翻译任务上对多语言语音翻译模型中的参数进行训练。本发明利用显式词级别对齐信息和“粗粒度‑细粒度”对比学习算法，提升多语言语音翻译模型对于跨语言跨模态信息的对齐能力，从而提升多语言语音翻译的性能。

公开(公告)号：CN113869070B

公开(公告)日：2024-05-24

申请号：CN202111201186.3

申请日：2021-10-15

Applicant: 大连理工大学

Inventor： 黄德根 ,  刘俊鹏 ,  刘欢 ,  李玖一

IPC: G06F40/58 ,  G06F40/126 ,  G06N3/0499 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种融合特定语言适配器模块的多语言神经机器翻译方法。步骤为：为每个需要翻译的语言对构造一个双语适配器模块并初始化相应的适配器模块参数；将双语适配器模块插入到Transformer模型的编码器和解码器的各个子层之间；改进双语适配器模块的内部网络结构，构建具有可变维度的双语适配器模型，动态调整编码器和解码器两端特定语言表达空间容量的分配；对双语适配器模块对应的语言对进行解耦，为每一种语言分配并初始化一个适配器模块，构建单语适配器模型。本发明通过引入适配器模块改进多语言翻译模型中的参数共享方式，缓解多语言翻译模型的表达瓶颈问题，实现多语言神经机器翻译和未见语言对翻译质量的提升。

公开(公告)号：CN113869070A

公开(公告)日：2021-12-31

申请号：CN202111201186.3

申请日：2021-10-15

Applicant: 大连理工大学

Inventor： 黄德根 ,  刘俊鹏 ,  刘欢 ,  李玖一

IPC: G06F40/58 ,  G06F40/126 ,  G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种融合特定语言适配器模块的多语言神经机器翻译方法。步骤为：为每个需要翻译的语言对构造一个双语适配器模块并初始化相应的适配器模块参数；将双语适配器模块插入到Transformer模型的编码器和解码器的各个子层之间；改进双语适配器模块的内部网络结构，构建具有可变维度的双语适配器模型，动态调整编码器和解码器两端特定语言表达空间容量的分配；对双语适配器模块对应的语言对进行解耦，为每一种语言分配并初始化一个适配器模块，构建单语适配器模型。本发明通过引入适配器模块改进多语言翻译模型中的参数共享方式，缓解多语言翻译模型的表达瓶颈问题，实现多语言神经机器翻译和未见语言对翻译质量的提升。