-
公开(公告)号:CN111445542B
公开(公告)日:2022-07-29
申请号:CN202010246799.8
申请日:2020-03-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于脑机接口技术领域,具体涉及一种基于弹性突触门的跨受试者神经解码系统、方法、装置,旨在解决在特定受试者上独立训练的神经解码在跨受试者解码时准确率较低的问题。本系统包括:预处理模块,配置为获取待解码的功能性核磁共振图像并进行预处理,得到预处理图像;解码模块,配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码,得到在采集功能性核磁共振图像时受试者受到的刺激的向量表示;其中,基于弹性突触门的解码模型基于多层前向神经网络构建。本发明提高了基于功能性核磁共振成像的神经解码在跨受试者解码时的准确率。
-
公开(公告)号:CN112232084A
公开(公告)日:2021-01-15
申请号:CN202011102971.9
申请日:2020-10-15
Applicant: 中国科学院自动化研究所
IPC: G06F40/30 , G06F40/126 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种神经语义编解码分析方法及系统,所述神经语义编解码分析方法包括:训练回归模型拟合脑神经激活水平与文本刺激的向量表示之间的映射关系,建立文本表示模型;通过探针任务量化解析文本表示模型描述各类语言特征的能力,得到探针任务表现;根据探针任务表现,通过消融任务以调整文本表示模型;在调整后的文本表示模型生成的句子向量的基础上来执行分析任务。本发明通过训练回归模型拟合脑神经激活水平与文本刺激的向量表示之间的映射关系,建立文本表示模型,通过探针任务量化解析文本表示模型描述各类语言特征的能力;进一步通过消融任务确认文本表示模型的鲁棒性,并以此调整文本表示模型,从而可提高在执行分析任务时的准确率。
-
公开(公告)号:CN110008480B
公开(公告)日:2020-12-11
申请号:CN201811479634.4
申请日:2018-12-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域,具体涉及一种基于原型记忆的小数据词表示学习方法与系统及相关设备,目的在于解决传统的分布语义模型为了得到高质量的词表示,要求每个目标词具有大量的上下文样本的问题。本发明的基于原型记忆的小数据词表示学习方法包括:根据通用领域语料库,对键值记忆储存模型进行初始化;根据通用领域语料库学习词表示,并在键值记忆储存模型中存储词的原型表示;根据罕见词语料库,利用键值记忆储存模型,学习罕见词的词表示。本发明中原型表示的构建使得模型不再需要逐个记忆所有过往样本,同时具有更好的泛化能力。在利用大规模语料中完成知识积累后,在小规模语料中给定有限上下文的情况下,快速学习目标词的表示。
-
公开(公告)号:CN108536735A
公开(公告)日:2018-09-14
申请号:CN201810178559.1
申请日:2018-03-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理领域,具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统,目的在于提高表示结果的准确性。本发明的词汇表示方法,先通过向量数据库查询待表示词汇的文本模态向量、视觉模态向量、音频模态向量;对于没有视觉模态和音频模态的词汇,利用训练好的映射模型去预测缺失的视觉向量以及听觉向量;再计算上述三种向量与对应模态权重的点积;最后将上述加权后的向量作为多通道自编码器模型的输入,对三种模态的信息进行融合,得到多模态的词汇表示向量。本发明利用不同模态间的相关性,融合不同模态的信息,并引入模态权重,有效提高了词汇表示的准确度。为了对不同模态进行更好的融合,还加入了联想词汇预测模块。
-
公开(公告)号:CN108536735B
公开(公告)日:2020-12-15
申请号:CN201810178559.1
申请日:2018-03-05
Applicant: 中国科学院自动化研究所
IPC: G06F16/9032 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明涉及自然语言处理领域,具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统,目的在于提高表示结果的准确性。本发明的词汇表示方法,先通过向量数据库查询待表示词汇的文本模态向量、视觉模态向量、音频模态向量;对于没有视觉模态和音频模态的词汇,利用训练好的映射模型去预测缺失的视觉向量以及听觉向量;再计算上述三种向量与对应模态权重的点积;最后将上述加权后的向量作为多通道自编码器模型的输入,对三种模态的信息进行融合,得到多模态的词汇表示向量。本发明利用不同模态间的相关性,融合不同模态的信息,并引入模态权重,有效提高了词汇表示的准确度。为了对不同模态进行更好的融合,还加入了联想词汇预测模块。
-
公开(公告)号:CN111445542A
公开(公告)日:2020-07-24
申请号:CN202010246799.8
申请日:2020-03-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于脑机接口技术领域,具体涉及一种基于弹性突触门的跨受试者神经解码系统、方法、装置,旨在解决在特定受试者上独立训练的神经解码在跨受试者解码时准确率较低的问题。本系统包括:预处理模块,配置为获取待解码的功能性核磁共振图像并进行预处理,得到预处理图像;解码模块,配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码,得到在采集功能性核磁共振图像时受试者受到的刺激的向量表示;其中,基于弹性突触门的解码模型基于多层前向神经网络构建。本发明提高了基于功能性核磁共振成像的神经解码在跨受试者解码时的准确率。
-
公开(公告)号:CN107423284A
公开(公告)日:2017-12-01
申请号:CN201710449875.3
申请日:2017-06-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域,具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统,旨在解决单词内部结构信息利用率低的问题;所述构建方法包括:对训练语料中所有的中文复述句对进行分词处理,得到多个单词语料;对各所述单词语料进行预训练,得到预训练字向量和预训练词向量;整合每个单词语料中的所有预训练字向量和预训练词向量,获得对应单词语料的组合词向量;根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量,所述最终词向量表征单词内部结构信息;将待处理句子中的各个单词语料的最终词向量进行整合,得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。
-
公开(公告)号:CN112232084B
公开(公告)日:2024-11-12
申请号:CN202011102971.9
申请日:2020-10-15
Applicant: 中国科学院自动化研究所
IPC: G06F40/30 , G06F40/126 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种神经语义编解码分析方法及系统,所述神经语义编解码分析方法包括:训练回归模型拟合脑神经激活水平与文本刺激的向量表示之间的映射关系,建立文本表示模型;通过探针任务量化解析文本表示模型描述各类语言特征的能力,得到探针任务表现;根据探针任务表现,通过消融任务以调整文本表示模型;在调整后的文本表示模型生成的句子向量的基础上来执行分析任务。本发明通过训练回归模型拟合脑神经激活水平与文本刺激的向量表示之间的映射关系,建立文本表示模型,通过探针任务量化解析文本表示模型描述各类语言特征的能力;进一步通过消融任务确认文本表示模型的鲁棒性,并以此调整文本表示模型,从而可提高在执行分析任务时的准确率。
-
公开(公告)号:CN107423284B
公开(公告)日:2020-03-06
申请号:CN201710449875.3
申请日:2017-06-14
Applicant: 中国科学院自动化研究所
IPC: G06F40/211 , G06F40/289 , G06F16/35
Abstract: 本发明涉及自然语言处理技术领域,具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统,旨在解决单词内部结构信息利用率低的问题;所述构建方法包括:对训练语料中所有的中文复述句对进行分词处理,得到多个单词语料;对各所述单词语料进行预训练,得到预训练字向量和预训练词向量;整合每个单词语料中的所有预训练字向量和预训练词向量,获得对应单词语料的组合词向量;根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量,所述最终词向量表征单词内部结构信息;将待处理句子中的各个单词语料的最终词向量进行整合,得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。
-
公开(公告)号:CN107480196B
公开(公告)日:2020-02-07
申请号:CN201710577334.9
申请日:2017-07-14
Applicant: 中国科学院自动化研究所
IPC: G06F16/36
Abstract: 本发明的多模态词汇表示方法包括分别计算待表示词汇在文本模态中的文本表示向量、以及待表示词汇在视觉模态中的图片表示向量;将文本表示向量输入预先建立的文本模态权重模型,得到文本表示向量在文本模态中的权重;将图片表示向量输入预先建立的视觉模态权重模型,得到图片表示向量在图片模态中的权重;根据文本表示向量、图片表示向量以及分别与文本表示向量和图片表示向量对应的权重,计算得到多模态词汇表示向量。其中,文本模态权重模型为输入为文本表示向量、输出为文本表示向量在对应文本模态中的权重的神经网络模型;视觉模态权重模型为输入为图片表示向量、输出为图片表示向量在对应视觉模态中的权重的神经网络模型。
-
-
-
-
-
-
-
-
-