公开(公告)号：CN108959351B

公开(公告)日：2022-11-08

申请号：CN201810377825.3

申请日：2018-04-25

申请人： 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

发明人： 张家俊 ,  刘洋 ,  马宏远 ,  杜翠兰 ,  柳毅 ,  赵媛 ,  宗成庆

IPC分类号： G06F16/35 ,  G06F40/30 ,  G06N3/04

摘要： 本发明属于自然语言处理技术领域，具体提供一种中文篇章关系的分类方法及装置。旨在解决传统管道系统方法中错误传递的问题。本发明的中文篇章关系的分类方法包括将中文篇章中的句子进行句对的分布式表示，得到第一句对分布式表示向量；计算记忆单元与第一句对分布式表示向量的相似度和权重，得到第一句对分布式表示向量的记忆信息；将第一句对分布式表示向量与记忆信息进行线性组合生成第二句对分布式表示向量；对第二句对分布式表示向量进行分类，得到中文篇章的关系分类结果。本发明的方法通过深度学习网络得到句子内部的语义和结构抽象特征，可以获得优越性能的篇章分类效果。

公开(公告)号：CN108959351A

公开(公告)日：2018-12-07

申请号：CN201810377825.3

申请日：2018-04-25

申请人： 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

发明人： 张家俊 ,  刘洋 ,  马宏远 ,  杜翠兰 ,  柳毅 ,  赵媛 ,  宗成庆

IPC分类号： G06F17/30 ,  G06F17/27 ,  G06N3/04

CPC分类号： G06F17/2785 ,  G06N3/0481

摘要： 本发明属于自然语言处理技术领域，具体提供一种中文篇章关系的分类方法及装置。旨在解决传统管道系统方法中错误传递的问题。本发明的中文篇章关系的分类方法包括将中文篇章中的句子进行句对的分布式表示，得到第一句对分布式表示向量；计算记忆单元与第一句对分布式表示向量的相似度和权重，得到第一句对分布式表示向量的记忆信息；将第一句对分布式表示向量与记忆信息进行线性组合生成第二句对分布式表示向量；对第二句对分布式表示向量进行分类，得到中文篇章的关系分类结果。本发明的方法通过深度学习网络得到句子内部的语义和结构抽象特征，可以获得优越性能的篇章分类效果。

公开(公告)号：CN108647214A

公开(公告)日：2018-10-12

申请号：CN201810270468.0

申请日：2018-03-29

申请人： 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

发明人： 张家俊 ,  周龙 ,  马宏远 ,  杜翠兰 ,  张翠 ,  赵晓航 ,  宗成庆

IPC分类号： G06F17/28 ,  G06F17/27 ,  G06N3/04

摘要： 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

公开(公告)号：CN108647214B

公开(公告)日：2020-06-30

申请号：CN201810270468.0

申请日：2018-03-29

申请人： 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

发明人： 张家俊 ,  周龙 ,  马宏远 ,  杜翠兰 ,  张翠 ,  赵晓航 ,  宗成庆

IPC分类号： G06F40/58 ,  G06F40/289 ,  G06N3/04

摘要： 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

公开(公告)号：CN118552965A

公开(公告)日：2024-08-27

申请号：CN202410624083.5

申请日：2024-05-20

申请人： 中国科学院自动化研究所

发明人： 张亚萍 ,  马聪 ,  赵阳 ,  周玉 ,  宗成庆

IPC分类号： G06V30/19 ,  G06V30/18 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

摘要： 本发明提供一种文本图像翻译模型训练方法、装置、电子设备和存储介质，其中方法包括：获取预训练模型和训练数据，分别对训练数据中的文本图像和源端语言文本字符串进行特征编码，得到文本图像特征和文本特征；分别对文本图像特征和文本特征进行特征解码，得到文本图像翻译结果和文本翻译结果；基于文本图像翻译结果和训练数据中的目标端语言文本字符串，确定文本图像翻译损失；基于文本图像特征、文本特征、文本图像翻译结果和文本翻译结果，确定多层次知识迁移损失；将文本图像翻译损失和多层次知识迁移损失进行融合，得到训练损失，并基于训练损失对预训练模型进行参数更新，得到文本图像翻译模型。本发明能够提升文本图像翻译模型的性能。

公开(公告)号：CN117034965B

公开(公告)日：2024-03-22

申请号：CN202310996132.3

申请日：2023-08-08

申请人： 中国科学院自动化研究所

发明人： 张亚萍 ,  向露 ,  刘宇宸 ,  周玉 ,  宗成庆

IPC分类号： G06F40/58 ,  G06F40/289 ,  G06V30/41 ,  G06N3/045

摘要： 本发明提供一种基于视觉语言预训练的图像文本翻译方法及装置，方法包括：确定源语言图像；将源语言图像输入至图像文本翻译模型，得到图像文本翻译模型输出的源语言图像对应的目标语言文本；其中，图像文本翻译模型的损失值基于样本预测源语言文本与样本源语言图像对应的样本源语言标签之间的差异，以及样本预测目标语言文本与样本目标语言标签之间的差异确定。本发明的图像文本翻译模型基于样本图像特征向量以及样本预测源语言文本对样本源语言图像进行图像文本翻译时，样本图像特征向量能够补充提供相应的视觉信息，对文本识别错误进行校正，以增强图像文本翻译，准确得到样本预测目标语言文本，进而提高图像文本翻译模型的图像文本翻译精度。

公开(公告)号：CN116805004A

公开(公告)日：2023-09-26

申请号：CN202311058414.5

申请日：2023-08-22

申请人： 中国科学院自动化研究所

发明人： 向露 ,  刘宇宸 ,  张亚萍 ,  周玉 ,  宗成庆

IPC分类号： G06F16/332 ,  G06N3/042 ,  G06N3/045 ,  G06N3/096 ,  G06F40/40

摘要： 本发明涉及自然语言处理技术领域，提供一种零资源跨语言对话模型训练方法、装置、设备和介质，所述方法包括：基于初始样本源语言对话数据，构建扩充样本源语言对话数据、第一跨语言对话数据、第二跨语言对话数据、双语平行数据以及样本目标语言对话数据；基于扩充样本源语言对话数据、第一跨语言对话数据以及第二跨语言对话数据中的至少一种，和双语平行数据，训练得到教师模型；将样本目标语言对话数据的对话输入数据输入至教师模型，得到蒸馏对话回复数据；基于样本目标语言对话数据的对话输入数据以及蒸馏对话回复数据进行蒸馏训练，得到零资源跨语言对话模型。本发明快速且低成本为零资源目标语言构建零资源跨语言对话模型。

公开(公告)号：CN115358245A

公开(公告)日：2022-11-18

申请号：CN202210800420.2

申请日：2022-07-06

申请人： 中国科学院自动化研究所

发明人： 张家俊 ,  王迁 ,  宗成庆

IPC分类号： G06F40/58 ,  G06K9/62

摘要： 本发明提供一种翻译模型的训练方法及装置、翻译方法及装置，其中翻译模型的训练方法包括：获取M个翻译任务的训练数据和预设翻译模型；对于M个翻译任务中任意两个翻译任务的训练数据和预设翻译模型，确定任意两个翻译任务之间的目标亲和性；基于各目标亲和性，将各翻译任务进行聚类处理，得到多个目标任务簇；基于各目标任务簇中各翻译任务的训练数据，对各目标任务簇对应的目标翻译模型进行训练。通过确定任意两个翻译任务之间的目标亲和性，可以将对预设翻译模型的翻译结果具有促进作用的各翻译任务进行聚类，得到目标任务簇；基于各目标任务簇，对各目标任务簇对应的目标翻译模型进行训练，能够提高目标翻译模型进行多语言翻译的准确性。

公开(公告)号：CN112800785B

公开(公告)日：2021-07-27

申请号：CN202110392717.5

申请日：2021-04-13

申请人： 中国科学院自动化研究所

发明人： 宗成庆 ,  黄鑫 ,  张家俊 ,  周玉

IPC分类号： G06F40/58 ,  G06F40/295 ,  G06F40/126 ,  G06K9/00

摘要： 本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质，所述方法包括：确定待翻译的源语言文本；将源语言文本输入至翻译模型中，得到翻译模型输出的目标语言文本；翻译模型是基于样本源语言文本和样本目标语言文本，以及与样本源语言文本匹配的样本图像，联合重建模型训练得到的；翻译模型与重建模型共用特征编码层，模型训练过程中特征编码层用于编码第一序列和第二序列，翻译模型基于第一序列的编码进行翻译，重建模型基于第二序列的编码进行重建，第一序列基于样本源语言文本确定，第二序列基于样本源语言文本中的各实体在样本图像中的区域图像和样本源语言文本的非实体确定，提高了质量提升的可解释性并且降低了翻译的复杂度。

公开(公告)号：CN112131861B

公开(公告)日：2021-03-16

申请号：CN202011341577.0

申请日：2020-11-25

申请人： 中国科学院自动化研究所

发明人： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC分类号： G06F40/205 ,  G06F40/284 ,  G06F40/242 ,  G06N3/04 ,  G06N3/08 ,  G06F16/332

摘要： 本发明属于任务型对话技术领域，具体涉及了一种基于层次化多头交互注意力的对话状态生成方法，旨在解决现有技术精度和准确度低以及成本高、效率低的问题。本发明包括：基于文本词典进行对话文本预处理；通过编码器进行各句子的独立编码，获得对话文本的上下文表示；对解码器输入应用自我注意力机制，获得当前时刻的解码器输入向量；应用多头交互式注意力机制，融合字级别和句子级别的上下文表示，获得对话文本当前时刻的上下文向量表示；结合当前时刻的解码器输入向量，通过非线性映射获得实体和状态作为对话文本的对话状态。本发明可以在无字级别标注信息的情况下取得非常好的效果，不仅节约了数据标注的成本，也提高了模型的精确性与精度。