公开(公告)号：CN111428519A

公开(公告)日：2020-07-17

申请号：CN202010151246.4

申请日：2020-03-06

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  范意兴 ,  王素

IPC: G06F40/58 ,  G06N3/08

Abstract: 本发明提出一种基于熵的神经机器翻译动态解码方法及系统，通过分析句子的熵值与BLEU值之间的关系，发现BLEU值高的句子中单词的平均熵值比BLEU值低的句子中单词的平均熵值小，且熵值低的句子的BLEU值普遍比熵值高的句子的BLEU值高。通过计算句子的熵值与BLEU值之间的Pearson系数，发现两者之间存在相关性。因此，本发明提出在训练过程解码阶段的每个时间步，不仅要以一定的概率采样选择真实单词或预测单词获取上下文信息，还要根据上一个时间步的预测结果计算熵值，然后根据熵值动态调整上下文信息的权重。解决了神经机器翻译模型在解码过程中因训练和推断之间的上下文信息差异而导致的错误累积问题。

公开(公告)号：CN111428519B

公开(公告)日：2022-03-29

申请号：CN202010151246.4

申请日：2020-03-06

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  范意兴 ,  王素

IPC: G06F40/58 ,  G06N3/08

Abstract: 本发明提出一种基于熵的神经机器翻译动态解码方法及系统，通过分析句子的熵值与BLEU值之间的关系，发现BLEU值高的句子中单词的平均熵值比BLEU值低的句子中单词的平均熵值小，且熵值低的句子的BLEU值普遍比熵值高的句子的BLEU值高。通过计算句子的熵值与BLEU值之间的Pearson系数，发现两者之间存在相关性。因此，本发明提出在训练过程解码阶段的每个时间步，不仅要以一定的概率采样选择真实单词或预测单词获取上下文信息，还要根据上一个时间步的预测结果计算熵值，然后根据熵值动态调整上下文信息的权重。解决了神经机器翻译模型在解码过程中因训练和推断之间的上下文信息差异而导致的错误累积问题。