公开(公告)号：CN115081430B

公开(公告)日：2024-12-06

申请号：CN202210576165.8

申请日：2022-05-24

Applicant: 中国科学院自动化研究所

Inventor： 张家俊 ,  李鑫 ,  赵阳 ,  宗成庆

IPC: G06F40/232 ,  G06N20/00

Abstract: 本发明提供一种中文拼写检错纠错方法、装置、电子设备及存储介质，属于自然语言处理技术领域，该方法包括：将汉字输入序列输入至对比学习模型，得到对比学习模型输出的汉字输入序列中各个汉字对应的相似字向量；基于相似字向量，检测汉字输入序列中的错误汉字，获得错误汉字的位置和类型；对汉字输入序列进行编码，得到汉字输入序列对应的编码向量；基于相似字向量、错误汉字的位置和类型，以及编码向量，纠正汉字输入序列中的错误汉字，获得最优纠正文本。通过各个汉字的字音相似关系和字形相似关系，实现了汉字输入序列中错误汉字的检错和纠错，提升了复杂汉字相似错误的检测与纠正的准确率，提升了中文拼写纠错的纠正质量。

公开(公告)号：CN116821290A

公开(公告)日：2023-09-29

申请号：CN202310638543.5

申请日：2023-05-31

Applicant: 中国科学院自动化研究所

Inventor： 张家俊 ,  彭天宇 ,  宗成庆

IPC: G06F16/332 ,  G06F16/35 ,  G06F18/214 ,  G06F18/241

Abstract: 本发明提供一种面向多任务对话的大语言模型训练方法和交互方法，其中面向多任务对话的大语言模型训练方法包括：获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型，不仅在极大程度上保留了模型的闲聊交互能力，还最大限度的提升了模型的任务识别能力和任务执行能力，使其能够具备快速准确地识别任务类别和任务目标的能力，优化了模型性能。

公开(公告)号：CN115062787A

公开(公告)日：2022-09-16

申请号：CN202210581040.4

申请日：2022-05-25

Applicant: 中国科学院自动化研究所

Inventor： 张家俊 ,  李鑫 ,  赵阳 ,  宗成庆

IPC: G06N20/00 ,  G06F40/232 ,  G06F40/279

Abstract: 本发明提供一种对比学习模型的训练方法及装置、汉字表示方法及装置，其中对比学习模型的训练方法包括：基于相似汉字混淆集中的各混淆汉字构建相似汉字簇集合，所述相似汉字簇集合包括字音相似汉字簇集合和字形相似汉字簇集合；根据所述字音相似汉字簇集合、所述字形相似汉字簇集合构建样本汉字三元组集合；将所述样本汉字三元组集合输入对比学习模型进行训练，直至达到训练停止条件。利用包含有字音相似汉字簇集合和字形相似汉字簇集合的样本汉字三元组集合对对比学习模型进行训练，可以得到汉字之间字音字形的相似关系，丰富了汉字之间字音字形相似关系的表达。

公开(公告)号：CN114139556A

公开(公告)日：2022-03-04

申请号：CN202111271484.X

申请日：2021-10-29

Applicant: 中国科学院自动化研究所

Inventor： 张家俊 ,  王迁 ,  宗成庆

IPC: G06F40/58 ,  G06F40/44

Abstract: 本发明提供一种多语言翻译方法、装置、电子设备及存储介质，方法包括：获取训练数据和源语言的文本；其中，训练数据包括源语言到多种目标语言的双语平行句对和多语言平行句对；对源语言的文本进行编码，得到源语言的文本对应的特征向量；其中，特征向量与目标语言无关；基于特征向量和多种目标语言已生成的译文，确定多种目标语言的当前词的最终表示；基于语言独立的柱搜索算法及多种目标语言的当前词的最终表示，对多种目标语言的已生成最优候选译文进行扩展，得到多种目标语言的目标译文。本发明提供的方法，能够利用多种目标语言之间的互补信息，生成多种目标语言的目标译文，同时提升多种目标语言的翻译质量。

公开(公告)号：CN114048760A

公开(公告)日：2022-02-15

申请号：CN202111138690.3

申请日：2021-09-27

Applicant: 中国科学院自动化研究所

Inventor： 张家俊 ,  王迁 ,  宗成庆

IPC: G06F40/58 ,  G06F16/35 ,  G06K9/62

Abstract: 本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法及装置。训练方法包括：获取多语言翻译训练语料和多语言翻译验证语料；建立并初始化全参数共享的多语言翻译模型，利用多语言翻译训练语料和多语言翻译验证语料对多语言翻译模型进行训练，得到多语言机器翻译模型。在训练过程中模型自动判断每个共享的参数是否需要转变为语言相关的参数，复制需要转变的参数并将其分配给相关的语言，从而使得模型同时具有共享参数和语言相关参数。本发明用于在多语言机器翻译模型训练的过程中，自动判断参数是否需要共享以及需要被哪些语言对共享，而不依赖预先指定的共享或语言相关的模型组件。

公开(公告)号：CN109213851B

公开(公告)日：2021-05-25

申请号：CN201810724523.9

申请日：2018-07-04

Applicant: 中国科学院自动化研究所 ,  出门问问信息科技有限公司

Inventor： 周玉 ,  白赫 ,  张家俊 ,  宗成庆 ,  赵亮

IPC: G06F16/332 ,  G06F40/58 ,  G06F40/30

Abstract: 本发明涉及语言处理领域，并提出了一种对话系统中口语理解的跨语言迁移方法，旨在解决在对话系统中口语理解的跨语言迁移中，因语义标签难以迁移和语言文化差异造成迁移结果质量不佳的技术问题。为此目的，本发明中的口语的跨语言迁移方法包括：获取待迁移的有标注口语理解数据；利用预先构建的口语理解迁移模型对所述带类别标记的待迁移数据进行迁移，得到带类别标记的第一迁移结果；对第一迁移结果进行文化迁移，得到目标语言的口语理解数据。基于上述步骤，本发明可以快速、准确的对口语理解数据进行跨语言迁移，改善了因为双语带类别标记数据不足而导致的有监督训练方法效果不佳的问题，降低了在模型训练中的数据收集和标注成本。

公开(公告)号：CN108536735B

公开(公告)日：2020-12-15

申请号：CN201810178559.1

申请日：2018-03-05

Applicant: 中国科学院自动化研究所

Inventor： 王少楠 ,  张家俊 ,  宗成庆

IPC: G06F16/9032 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及自然语言处理领域，具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统，目的在于提高表示结果的准确性。本发明的词汇表示方法，先通过向量数据库查询待表示词汇的文本模态向量、视觉模态向量、音频模态向量；对于没有视觉模态和音频模态的词汇，利用训练好的映射模型去预测缺失的视觉向量以及听觉向量；再计算上述三种向量与对应模态权重的点积；最后将上述加权后的向量作为多通道自编码器模型的输入，对三种模态的信息进行融合，得到多模态的词汇表示向量。本发明利用不同模态间的相关性，融合不同模态的信息，并引入模态权重，有效提高了词汇表示的准确度。为了对不同模态进行更好的融合，还加入了联想词汇预测模块。

公开(公告)号：CN111445542A

公开(公告)日：2020-07-24

申请号：CN202010246799.8

申请日：2020-03-31

Applicant: 中国科学院自动化研究所

Inventor： 王少楠 ,  孙静远 ,  张家俊 ,  宗成庆

IPC: G06T9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于脑机接口技术领域，具体涉及一种基于弹性突触门的跨受试者神经解码系统、方法、装置，旨在解决在特定受试者上独立训练的神经解码在跨受试者解码时准确率较低的问题。本系统包括：预处理模块，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；解码模块，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到在采集功能性核磁共振图像时受试者受到的刺激的向量表示；其中，基于弹性突触门的解码模型基于多层前向神经网络构建。本发明提高了基于功能性核磁共振成像的神经解码在跨受试者解码时的准确率。

公开(公告)号：CN107943795B

公开(公告)日：2020-05-19

申请号：CN201711123864.2

申请日：2017-11-14

Applicant: 中国科学院自动化研究所 ,  波音(中国)投资有限公司

Inventor： 张家俊 ,  赵阳 ,  宗成庆

IPC: G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及机器翻译领域，具体涉及一种提高神经机器翻译准确度的方法、翻译方法及系统和设备，目的在于减少神经机器翻译系统的漏翻和重翻问题。本发明提出的提高神经机器翻译准确度的方法，通过将统计机器翻译中常用的预处理方法即预调序，引入到神经机器翻译中，实现了意想不到的技术效果——大大缓解了漏翻和重翻问题。另外，在神经机器翻译的注意力层加入位置向量以增强单调翻译，加入覆盖度向量，进一步缓解漏翻和重翻问题。相对于现有的神经机器翻译方法，本发明在提高翻译质量以及减少漏翻重翻方面均有显著改进。

公开(公告)号：CN109783704A

公开(公告)日：2019-05-21

申请号：CN201910005704.0

申请日：2019-01-03

Applicant: 中国科学院自动化研究所 ,  出门问问信息科技有限公司

Inventor： 张家俊 ,  王唯康 ,  李志飞 ,  宗成庆

IPC: G06F16/9032

Abstract: 本发明属于人机对话技术领域，具体涉及一种人机混合的应答方法、系统、装置，旨在为了解决现有人机应答方法无法实现在线学习的问题。本发明方法包括：对当前对话上下文Ct进行编码，得到第一表征向量E(Ct)；基于对话任务下的候选回复语句，并进行编码后得到第二表征向量 基于第一表征向量E(Ct)、第二表征向量通过不确定性估计方法获取候选回复语句能够正确回复用户提问的置信度，置信度大于设定阈值则选择置信度对应的候选回复语句进行应答输出，否则获取通过人机交互设备录入的回复语句或选定的候选回复语句进行应答输出，并基于应答输出后得到的全部对话语句进行上述步骤中的参数优化。本发明保证了输出的应答语句具有足够的置信度，实现了对话模型的在线学习更新。