-
公开(公告)号：CN110717343A
公开(公告)日：2020-01-21
申请号：CN201910924164.6
申请日：2019-09-27
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于transformer注意力机制输出的优化对齐方法；应用在基于注意力机制的transformer框架模型上。包括：注意力机制函数的输入是源语言与目标语言的词向量Q、K，在翻译框架中会输出一个对齐张量输出，使用多个注意力机制函数可以输出多个对齐张量输出，并且由于计算过程中有随机参数的变化，所以每个输出是不同的。对多个对齐张量输出先求出他们各自的二范数值Ti，然后使用余弦相似度公式来计算最优值；得到的最优值作为最终输出的对齐张量参与整个翻译过程。引入正则化的计算方式，可以计算出多个输出的最恰当的输出，能够有效的提升注意力机制函数的对齐效果，提高翻译效果与分值。该算法可以应用于所有含有注意力机制的模型，不需要修改模型框架。
-
公开(公告)号：CN110717342A
公开(公告)日：2020-01-21
申请号：CN201910924019.8
申请日：2019-09-27
Applicant: 电子科技大学
Abstract: 发明公开了一种基于transformer的距离参量对齐翻译方法，应用在基于注意力机制的transformer框架模型上；包括：在训练过程中将注意力机制输入的两种语言的词向量进行计算，得到一个相对距离参量的张量；对此距离张量进行归一化，得到计算规格的新的距离张量。该张量可以参与到注意力机制函数的输出对齐张量的计算中，源语言与目标语言的翻译中，对齐的句子之间词向量的距离代表它们的差异程度，故引入距离参量加入对齐函数的计算，可以有效的加大不同词的对齐概率差异，使得对齐更有效。上述带有距离权重机制的神经翻译方法，能够有效的提升注意力函数的对齐效果，提高翻译效果与分值。该算法可以应用于所有含有注意力机制的模型，不需要修改模型框架。
-
Patent Agency Ranking
公开(公告)号：CN110717342B
公开(公告)日：2023-03-14
申请号：CN201910924019.8
申请日：2019-09-27
Applicant: 电子科技大学
Abstract: 发明公开了一种基于transformer的距离参量对齐翻译方法，应用在基于注意力机制的transformer框架模型上；包括：在训练过程中将注意力机制输入的两种语言的词向量进行计算，得到一个相对距离参量的张量；对此距离张量进行归一化，得到计算规格的新的距离张量。该张量可以参与到注意力机制函数的输出对齐张量的计算中，源语言与目标语言的翻译中，对齐的句子之间词向量的距离代表它们的差异程度，故引入距离参量加入对齐函数的计算，可以有效的加大不同词的对齐概率差异，使得对齐更有效。上述带有距离权重机制的神经翻译方法，能够有效的提升注意力函数的对齐效果，提高翻译效果与分值。该算法可以应用于所有含有注意力机制的模型，不需要修改模型框架。
-
公开(公告)号：CN110688860B
公开(公告)日：2024-02-06
申请号：CN201910924914.X
申请日：2019-09-27
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于transformer多种注意力机制的权重分配方法；包括：注意力机制的输入是目标语言的目标语言和源语言的词向量，输出是一个对齐张量。使用多个注意力机制函数可以输出多个对齐张量输出，并且由于计算过程中有随机参数的变化，所以每个输出是不同的。在此将所有的注意力机制模型都投入运算中，并将多种注意力机制输出做正则化计算，来逼近最佳输出。这种正则化计算方法确定了所得的值不会偏离最优值太远，也保存了各个注意力模型的最优性，若是一个注意力模型的实验效果极好，则加大该模型的权重函数来加大该模型对最终输出的影响力，从而提高翻译效果。
-
公开(公告)号：CN110688860A
公开(公告)日：2020-01-14
申请号：CN201910924914.X
申请日：2019-09-27
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于transformer多种注意力机制的权重分配方法；包括：注意力机制的输入是目标语言的目标语言和源语言的词向量，输出是一个对齐张量。使用多个注意力机制函数可以输出多个对齐张量输出，并且由于计算过程中有随机参数的变化，所以每个输出是不同的。在此将所有的注意力机制模型都投入运算中，并将多种注意力机制输出做正则化计算，来逼近最佳输出。这种正则化计算方法确定了所得的值不会偏离最优值太远，也保存了各个注意力模型的最优性，若是一个注意力模型的实验效果极好，则加大该模型的权重函数来加大该模型对最终输出的影响力，从而提高翻译效果。
-
公开(公告)号：CN110674647A
公开(公告)日：2020-01-10
申请号：CN201910923998.5
申请日：2019-09-27
Applicant: 电子科技大学
IPC: G06F40/58
Abstract: 本发明公开了一种基于Transformer模型的层融合方法及计算机设备，首先将源语言词向量输入给Transformer模型，经过编码器与解码器的转换，让Transformer模型产生原始结构的输出；然后运用层融合方法将编码器或者解码器的第一层与第二层的输出语义向量利用融合矩阵进行融合构成新的输出语义向量，并利用该新的输出与第三层输出语义向量进行融合；再利用融合得到的输出与第四层输出进行融合，依次递推直到得到最后的融合输出，并将该融合输出作为模型的最终输出；最终输出词向量再经过softmax转换得到目标语言文本。与典型的Transformer模型相比，该发明具有额外的融合层次结构，利用了所有层的语义信息，提高了层次信息的利用率，同时也有效地提高了翻译的准确性。
-
公开(公告)号：CN110717343B
公开(公告)日：2023-03-14
申请号：CN201910924164.6
申请日：2019-09-27
Applicant: 电子科技大学
IPC: G06F40/58 , G06F40/30 , G06N3/047 , G06N3/0455
Abstract: 本发明公开了一种基于transformer注意力机制输出的优化对齐方法；应用在基于注意力机制的transformer框架模型上。包括：注意力机制函数的输入是源语言与目标语言的词向量Q、K，在翻译框架中会输出一个对齐张量输出，使用多个注意力机制函数可以输出多个对齐张量输出，并且由于计算过程中有随机参数的变化，所以每个输出是不同的。对多个对齐张量输出先求出他们各自的二范数值Ti，然后使用余弦相似度公式来计算最优值；得到的最优值作为最终输出的对齐张量参与整个翻译过程。引入正则化的计算方式，可以计算出多个输出的最恰当的输出，能够有效的提升注意力机制函数的对齐效果，提高翻译效果与分值。该算法可以应用于所有含有注意力机制的模型，不需要修改模型框架。
-
-
-
-
-
-
Search Results
7
records
(took 0.023 seconds)
