-
公开(公告)号:CN117453898A
公开(公告)日:2024-01-26
申请号:CN202311795864.2
申请日:2023-12-25
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06F16/335 , G06F16/33 , G06F18/27 , G06N5/04 , G06N5/01 , G06N3/0455 , G06N3/0895 , G06N3/0985 , G06N3/084
Abstract: 本公开涉及一种基于思维链的跨模态问答的处理方法和装置,上述处理方法包括:获取目标问答场景下的语音问题和对应的上下文文本;基于预训练好的思维链生成模型,对上述语音问题和上述上下文文本进行跨模态学习,得到用于表示上述语音问题的解决思路的思维链;将上述上下文文本和上述思维链进行拼接,得到目标上下文文本;基于预训练好的答案生成模型,对上述语音问题和上述目标上下文文本进行跨模态学习,得到上述语音问题对应的答案。支持跨模态问答并能先学习生成思维链,学习对问题进行思考的过程,之后基于思维链学习到答案,不仅有助于提升答案的正确率,也能有效提升答案的可解释性。
-
公开(公告)号:CN117351940A
公开(公告)日:2024-01-05
申请号:CN202311655426.6
申请日:2023-12-05
Applicant: 中国科学院自动化研究所
IPC: G10L15/01 , G10L15/06 , G10L15/16 , G10L15/183
Abstract: 本发明涉及一种基于语音大模型的合成语音检测方法及装置,基于语音大模型的合成语音检测方法包括:对每一语音合成算法对应的样本语音进行多鉴别任务的标签标记,构建鉴别任务序列;遍历每一语音合成算法,获取该语音合成算法对应的样本语音的梅尔谱,输入基于前一语音合成算法对应的语音训练模型的编码器,得到隐变量;将隐变量及鉴别任务序列输入基于前一语音合成算法对应的语音训练模型的解码器,获取预测鉴别值;依据预测鉴别值及实际鉴别值,对前一语音合成算法对应的语音训练模型的模型参数值矩阵进行梯度方向优化,在所有合成语音算法遍历完毕后,得到语音大模型。可以提升合成语音检测效率。
-
公开(公告)号:CN116364055A
公开(公告)日:2023-06-30
申请号:CN202310634393.0
申请日:2023-05-31
Applicant: 中国科学院自动化研究所
IPC: G10L13/027 , G10L13/08 , G10L25/30
Abstract: 本发明实施例涉及一种基于预训练语言模型的语音生成方法、装置、设备及介质,属于语音合成领域,通过基于第一预训练语言模型对待生成语音的目标文本进行编码,获得语义令牌序列;基于第二预训练语言模型对基于自然语言描述的语音风格控制信息进行编码,获得风格令牌序列;基于第三预训练语言模型对所述语义令牌序列和所述风格令牌序列进行自回归,获得声学令牌序列;基于训练好的神经编解码器对所述声学令牌序列进行解码,生成所述目标文本对应的目标语音;通过各预训练语言模型生成语音,并通过自然语言便捷、精确的控制文本所要生成的语音风格,增加了语音风格控制的多样化,提高语音生成质量。
-
公开(公告)号:CN115862656B
公开(公告)日:2023-06-02
申请号:CN202310054459.9
申请日:2023-02-03
Applicant: 中国科学院自动化研究所
IPC: G10L21/0224 , G10L21/0232 , G10L19/26 , H04R1/08
Abstract: 本公开涉及一种骨传麦克风语音增强方法及装置、设备及存储介质,所述方法包括:获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号;对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子;根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,根据预设的截止频率作为滤波器组,先对两种频域信号进行截取和融合,并通过半波整流对整体信号进行修正,实现对噪声的有效抑制,能够保留骨传导麦克风清晰的低频信号,同时对其缺失的中、高频信息进行补充,得到感知质量更高的音频信号。
-
公开(公告)号:CN114168804B
公开(公告)日:2022-06-10
申请号:CN202111550920.7
申请日:2021-12-17
Applicant: 中国科学院自动化研究所
IPC: G06F16/901 , G06F16/903 , G06F16/9535 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于异质子图神经网络的相似信息检索方法和系统。其中,方法包括:首先,将业务场景数据面向异质图进行图结构化数据,即构建异质图;其次,设计了一种子图范式,据此设计异质子图神经网络,建模和学习中心节点的邻域信息,并在不需要交互记录等标签的低资源情况下进行模型训练,从而得到节点的嵌入表示;最后,设计了基于局部敏感哈希的快速相似度计算模块来实现对相似内容检索这一功能的在线服务。本发明能够解决了低资源场景下相似信息检索这一业务需求。
-
公开(公告)号:CN114297394A
公开(公告)日:2022-04-08
申请号:CN202210238820.9
申请日:2022-03-11
Applicant: 中国科学院自动化研究所
Abstract: 本公开涉及一种对文本中的事件论元进行抽取的方法和电子设备,该方法包括:对待处理文本中包含的事件类型进行检测,得到目标事件类型;根据该目标事件类型及对应的目标论元角色的先验关联信息,构造得到论元抽取问题;将待处理文本和论元抽取问题进行拼接,得到目标文本;将该目标文本的表示向量输入至机器阅读理解模型中,该模型包括两层依序设置的分类器,第一层分类器同步对该目标文本是否存在答案、对答案的开始位置和结束位置进行识别预测,得到携带有答案指示标签的位置预测结果;第二层分类器对开始位置和结束位置进行配对组合后的预测实体是否为事件论元进行预测,得到答案预测结果;根据该答案预测结果和对应的标签,输出事件论元。
-
公开(公告)号:CN113936647B
公开(公告)日:2022-04-01
申请号:CN202111548060.3
申请日:2021-12-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明实施例公开了一种语音识别模型的训练方法、语音识别方法和系统,涉及语音识别技术领域。该实施例包括:将音频训练样本输入声学编码器,对音频训练样本进行编码表示,确定声学编码状态向量;将预设的词表输入语言预测器中,确定文本预测向量;将文本预测向量线输入文本映射层,得到文本输出概率分布;根据音频训练样本对应的目标文本序列和文本输出概率分布,计算第一损失函数;将文本预测向量和声学编码状态向量输入联合网络,计算第二损失函数,根据第一损失函数和第二损失函数进行迭代优化,直至满足停止条件。本实施例对语音识别模型的训练、预测过程进行了调整,提高了该语义识别模型的建模能力,从而提高了该语音识别模型的准确率。
-
-
公开(公告)号:CN113936647A
公开(公告)日:2022-01-14
申请号:CN202111548060.3
申请日:2021-12-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明实施例公开了一种语音识别模型的训练方法、语音识别方法和系统,涉及语音识别技术领域。该实施例包括:将音频训练样本输入声学编码器,对音频训练样本进行编码表示,确定声学编码状态向量;将预设的词表输入语言预测器中,确定文本预测向量;将文本预测向量线输入文本映射层,得到文本输出概率分布;根据音频训练样本对应的目标文本序列和文本输出概率分布,计算第一损失函数;将文本预测向量和声学编码状态向量输入联合网络,计算第二损失函数,根据第一损失函数和第二损失函数进行迭代优化,直至满足停止条件。本实施例对语音识别模型的训练、预测过程进行了调整,提高了该语义识别模型的建模能力,从而提高了该语音识别模型的准确率。
-
公开(公告)号:CN113936641A
公开(公告)日:2022-01-14
申请号:CN202111548173.3
申请日:2021-12-17
Applicant: 中国科学院自动化研究所
IPC: G10L15/00 , G10L15/02 , G10L15/06 , G10L15/183 , G06F40/126 , G06F40/237 , G06F40/284
Abstract: 本发明提供一种可定制的中英混合语音识别端到端系统,其中,系统包括:声学编码器、英文词表编码器、所述解码器和softmax函数。声学编码器、英文词表编码器‑解码器结构的端到端模型,声学编码器、英文词表编码器与解码器内部使用基于注意力的建模方式。模型可定制的方式是将需要定制化的英文单词或者英文词组进行提前编码,将离散的单词转化为模型的隐层表示,形成待检索向量列表。在进行识别过程时,解码器同时对声学特征的高维表示和英文词表的最终表示的序列进行注意力的计算。本发明具有能够实现针对不同领域的英文专有名词进行定制化模型,实现中英混合表达中英文的精准识别,同时减少模型对训练数据的依赖。
-
-
-
-
-
-
-
-
-