-
公开(公告)号：CN108647214A
公开(公告)日：2018-10-12
申请号：CN201810270468.0
申请日：2018-03-29
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。
-
公开(公告)号：CN107423284A
公开(公告)日：2017-12-01
申请号：CN201710449875.3
申请日：2017-06-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域，具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统，旨在解决单词内部结构信息利用率低的问题；所述构建方法包括：对训练语料中所有的中文复述句对进行分词处理，得到多个单词语料；对各所述单词语料进行预训练，得到预训练字向量和预训练词向量；整合每个单词语料中的所有预训练字向量和预训练词向量，获得对应单词语料的组合词向量；根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，所述最终词向量表征单词内部结构信息；将待处理句子中的各个单词语料的最终词向量进行整合，得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。
-
公开(公告)号：CN105955956A
公开(公告)日：2016-09-21
申请号：CN201610294189.9
申请日：2016-05-05
Applicant: 中国科学院自动化研究所
CPC classification number: G06F17/277 , G06F17/271 , G06F17/2785 , G06F17/289 , G06N3/02
Abstract: 本发明公开了一种汉语隐式篇章关系识别方法，所述方法包括以下步骤：步骤1，对汉语隐式篇章关系论元对进行自动分词处理，得到自动分词结果；步骤2，在得到的汉语隐式篇章关系论元自动分词结果的基础上，学习汉语隐式篇章关系论元的特征表达；步骤3，基于得到的特征表达，通过基于最大间隔的神经网络模型对论元间的汉语隐式篇章关系进行建模；步骤4，利用得到的神经网络模型对汉语隐式篇章关系进行识别。本发明能够对汉语中的隐式篇章关系进行较准确地识别。经过在汉语篇章树库上的实验验证，相对于已有的英语隐式篇章关系识别方法，本发明方法在汉语隐式篇章关系识别上得到准确率更高的识别结果。
-
公开(公告)号：CN114048760B
公开(公告)日：2025-03-25
申请号：CN202111138690.3
申请日：2021-09-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法及装置。训练方法包括：获取多语言翻译训练语料和多语言翻译验证语料；建立并初始化全参数共享的多语言翻译模型，利用多语言翻译训练语料和多语言翻译验证语料对多语言翻译模型进行训练，得到多语言机器翻译模型。在训练过程中模型自动判断每个共享的参数是否需要转变为语言相关的参数，复制需要转变的参数并将其分配给相关的语言，从而使得模型同时具有共享参数和语言相关参数。本发明用于在多语言机器翻译模型训练的过程中，自动判断参数是否需要共享以及需要被哪些语言对共享，而不依赖预先指定的共享或语言相关的模型组件。
-
公开(公告)号：CN119476418A
公开(公告)日：2025-02-18
申请号：CN202411518905.8
申请日：2024-10-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0985 , G06F17/16 , G06F18/214 , G06N3/006 , G06N7/01
Abstract: 本发明提供一种大语言模型合并方法、装置、电子设备及存储介质，包括：基于合并模型在下游任务的任务目标，确定模型合并所使用的密度超参数和模型合并系数超参数；基于密度超参数生成掩码矩阵，基于掩码矩阵、两个待合并模型各自的模型参数以及基础模型的模型参数，分别确定两个待合并模型的任务向量；基于两个待合并模型之间对应神经元的参数向量角、两个待合并模型的任务向量以及模型合并系数超参数，确定合并模型的任务向量；基于合并模型的任务向量和基础模型的模型参数，得到合并模型。采用上述技术方案，解决了现有的模型合并方法得到的合并模型的性能不佳的问题。
-
Patent Agency Ranking
公开(公告)号：CN115358245A
公开(公告)日：2022-11-18
申请号：CN202210800420.2
申请日：2022-07-06
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种翻译模型的训练方法及装置、翻译方法及装置，其中翻译模型的训练方法包括：获取M个翻译任务的训练数据和预设翻译模型；对于M个翻译任务中任意两个翻译任务的训练数据和预设翻译模型，确定任意两个翻译任务之间的目标亲和性；基于各目标亲和性，将各翻译任务进行聚类处理，得到多个目标任务簇；基于各目标任务簇中各翻译任务的训练数据，对各目标任务簇对应的目标翻译模型进行训练。通过确定任意两个翻译任务之间的目标亲和性，可以将对预设翻译模型的翻译结果具有促进作用的各翻译任务进行聚类，得到目标任务簇；基于各目标任务簇，对各目标任务簇对应的目标翻译模型进行训练，能够提高目标翻译模型进行多语言翻译的准确性。
-
公开(公告)号：CN112800785B
公开(公告)日：2021-07-27
申请号：CN202110392717.5
申请日：2021-04-13
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/295 , G06F40/126 , G06K9/00
Abstract: 本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质，所述方法包括：确定待翻译的源语言文本；将源语言文本输入至翻译模型中，得到翻译模型输出的目标语言文本；翻译模型是基于样本源语言文本和样本目标语言文本，以及与样本源语言文本匹配的样本图像，联合重建模型训练得到的；翻译模型与重建模型共用特征编码层，模型训练过程中特征编码层用于编码第一序列和第二序列，翻译模型基于第一序列的编码进行翻译，重建模型基于第二序列的编码进行重建，第一序列基于样本源语言文本确定，第二序列基于样本源语言文本中的各实体在样本图像中的区域图像和样本源语言文本的非实体确定，提高了质量提升的可解释性并且降低了翻译的复杂度。
-
公开(公告)号：CN111539229A
公开(公告)日：2020-08-14
申请号：CN201910054869.7
申请日：2019-01-21
Applicant: 波音公司 , 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/56 , G06F40/295 , G06F40/242
Abstract: 本发明涉及神经机器翻译模型训练方法、神经机器翻译方法及装置。该神经机器翻译方法包括：识别待翻译的源语句中的命名实体；用与命名实体的类别对应的标签替换所识别的命名实体，获得中间源语句；通过神经机器翻译模型翻译中间源语句，获得带有标签的中间目标语句；从预置的命名实体词典和/或命名实体库查找命名实体的译文；以及用查找到的译文替换中间目标语句中相应的标签，获得与待翻译的源语句对应的目标语句。本发明解决了在机器翻译的过程中，低频的命名实体被错翻译或漏翻译的问题。
-
公开(公告)号：CN106874362B
公开(公告)日：2020-01-10
申请号：CN201611253245.0
申请日：2016-12-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种多语言自动文摘方法，包括以下步骤：步骤101，获取多个目标语言文档中的多个谓词论元结构；步骤102，对所述多个谓词论元结构中的每一个谓词论元进行重要性打分；步骤103，根据所述每一个谓词论元的重要性得分，生成目标语言摘要。本发明中，实现了获取指定语言的摘要，且在保证该摘要含有更多的重要信息的信息量时，提高可读性。
-
公开(公告)号：CN106021224B
公开(公告)日：2019-03-15
申请号：CN201610317745.X
申请日：2016-05-13
Applicant: 中国科学院自动化研究所
Abstract: 本发明公开了一种双语篇章标注方法，该方法包括：步骤1，对双语句子对中的源语言端和目标语言端句子分别进行自动分词、自动词对齐与自动篇章分析，得到词对齐信息和两端的篇章分析树；步骤2，根据所述步骤1得到的词对齐信息和两端的篇章分析树得到两端句子中基本篇章单元的对应关系；步骤3，根据所述步骤2得到的两端句子中的基本篇章单元及其对应关系，构建双语篇章结构。本发明能够对双语平行句子进行较高一致性的篇章分析。在中英语言对上，经过标注实验的验证：相对于已有的单语篇章分析方法，本发明方法能分析得到一致性程度更高的篇章分析结果，从篇章的切分信息，到篇章的结构信息都有较高的一致性提升。
-
-
-
-
-
-
-
-
-
Search Results
71
records
(took 0.037 seconds)
