-
公开(公告)号：CN118053451A
公开(公告)日：2024-05-17
申请号：CN202410447623.7
申请日：2024-04-15
Applicant: 中国科学院自动化研究所
Abstract: 本发明实施例涉及一种基于多模态大模型的模仿音频鉴别方法、装置和设备，应用于训练好的多模态大模型，多模态大模型包括音频编码器、线性对齐层、预训练的大语言模型；通过将待鉴别音频输入到音频编码器中，获得音频特征；将音频特征输入到线性对齐层，获得对齐到文本模态的音频特征；将鉴伪音频的文本指令和文本模态的音频特征进行拼接，获得拼接特征；将拼接特征输入到预训练的大语言模型中，输出音频鉴别结果和鉴别原因；音频鉴别结果为真，表示音频是被模仿对象的真实音频；音频鉴别结果为假，表示音频是模仿对象针对被模仿对象所进行的模仿音频；鉴别原因是指做出所述音频鉴别结果的依据信息；实现了模仿音频的精确、快速检测。
-
公开(公告)号：CN117453898B
公开(公告)日：2024-03-22
申请号：CN202311795864.2
申请日：2023-12-25
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06F16/335 , G06F16/33 , G06F18/27 , G06N5/04 , G06N5/01 , G06N3/0455 , G06N3/0895 , G06N3/0985 , G06N3/084
Abstract: 本公开涉及一种基于思维链的跨模态问答的处理方法和装置，上述处理方法包括：获取目标问答场景下的语音问题和对应的上下文文本；基于预训练好的思维链生成模型，对上述语音问题和上述上下文文本进行跨模态学习，得到用于表示上述语音问题的解决思路的思维链；将上述上下文文本和上述思维链进行拼接，得到目标上下文文本；基于预训练好的答案生成模型，对上述语音问题和上述目标上下文文本进行跨模态学习，得到上述语音问题对应的答案。支持跨模态问答并能先学习生成思维链，学习对问题进行思考的过程，之后基于思维链学习到答案，不仅有助于提升答案的正确率，也能有效提升答案的可解释性。
-
公开(公告)号：CN117453898A
公开(公告)日：2024-01-26
申请号：CN202311795864.2
申请日：2023-12-25
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06F16/335 , G06F16/33 , G06F18/27 , G06N5/04 , G06N5/01 , G06N3/0455 , G06N3/0895 , G06N3/0985 , G06N3/084
Abstract: 本公开涉及一种基于思维链的跨模态问答的处理方法和装置，上述处理方法包括：获取目标问答场景下的语音问题和对应的上下文文本；基于预训练好的思维链生成模型，对上述语音问题和上述上下文文本进行跨模态学习，得到用于表示上述语音问题的解决思路的思维链；将上述上下文文本和上述思维链进行拼接，得到目标上下文文本；基于预训练好的答案生成模型，对上述语音问题和上述目标上下文文本进行跨模态学习，得到上述语音问题对应的答案。支持跨模态问答并能先学习生成思维链，学习对问题进行思考的过程，之后基于思维链学习到答案，不仅有助于提升答案的正确率，也能有效提升答案的可解释性。
-
公开(公告)号：CN117351940A
公开(公告)日：2024-01-05
申请号：CN202311655426.6
申请日：2023-12-05
Applicant: 中国科学院自动化研究所
IPC: G10L15/01 , G10L15/06 , G10L15/16 , G10L15/183
Abstract: 本发明涉及一种基于语音大模型的合成语音检测方法及装置，基于语音大模型的合成语音检测方法包括：对每一语音合成算法对应的样本语音进行多鉴别任务的标签标记，构建鉴别任务序列；遍历每一语音合成算法，获取该语音合成算法对应的样本语音的梅尔谱，输入基于前一语音合成算法对应的语音训练模型的编码器，得到隐变量；将隐变量及鉴别任务序列输入基于前一语音合成算法对应的语音训练模型的解码器，获取预测鉴别值；依据预测鉴别值及实际鉴别值，对前一语音合成算法对应的语音训练模型的模型参数值矩阵进行梯度方向优化，在所有合成语音算法遍历完毕后，得到语音大模型。可以提升合成语音检测效率。
-
公开(公告)号：CN116364055A
公开(公告)日：2023-06-30
申请号：CN202310634393.0
申请日：2023-05-31
Applicant: 中国科学院自动化研究所
IPC: G10L13/027 , G10L13/08 , G10L25/30
Abstract: 本发明实施例涉及一种基于预训练语言模型的语音生成方法、装置、设备及介质，属于语音合成领域，通过基于第一预训练语言模型对待生成语音的目标文本进行编码，获得语义令牌序列；基于第二预训练语言模型对基于自然语言描述的语音风格控制信息进行编码，获得风格令牌序列；基于第三预训练语言模型对所述语义令牌序列和所述风格令牌序列进行自回归，获得声学令牌序列；基于训练好的神经编解码器对所述声学令牌序列进行解码，生成所述目标文本对应的目标语音；通过各预训练语言模型生成语音，并通过自然语言便捷、精确的控制文本所要生成的语音风格，增加了语音风格控制的多样化，提高语音生成质量。
-
Patent Agency Ranking
公开(公告)号：CN115862656B
公开(公告)日：2023-06-02
申请号：CN202310054459.9
申请日：2023-02-03
Applicant: 中国科学院自动化研究所
IPC: G10L21/0224 , G10L21/0232 , G10L19/26 , H04R1/08
Abstract: 本公开涉及一种骨传麦克风语音增强方法及装置、设备及存储介质，所述方法包括：获取两种频域信号，并根据预设的截止频率，对所述两种频域信号分别进行截取，得到两种截取后频域信号；对所述两种截取后频域信号分别进行半波整流，得到两种半波整流后时域信号；按照预设的中间频带，根据所述两种半波整流后时域信号确定融合因子；根据融合因子对所述两种截取后频域信号进行融合，得到骨传麦克风语音增强语音，根据预设的截止频率作为滤波器组，先对两种频域信号进行截取和融合，并通过半波整流对整体信号进行修正，实现对噪声的有效抑制，能够保留骨传导麦克风清晰的低频信号，同时对其缺失的中、高频信息进行补充，得到感知质量更高的音频信号。
-
公开(公告)号：CN115083422B
公开(公告)日：2022-11-15
申请号：CN202210859678.X
申请日：2022-07-21
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本公开涉及一种语音溯源取证方法及装置、设备及存储介质，所述方法包括：本提取待测试语音的至少两种不同的声学特征；对提取的待测试语音的至少两种不同的声学特征进行融合，得到第一融合声学特征；基于预先训练的语音溯源取证模型，从所述第一融合声学特征中提取帧级别的算法指纹特征，对帧级别的算法指纹特征进行池化平均，根据池化平均得到的特征加权平均向量和加权标准差向量计算段级别的算法指纹特征，以基于段级别的算法指纹特征预测出待测试语音的生成算法；将预测出的待测试语音的生成算法作为语音溯源取证结果，通过提取算法指纹，不仅可以判断音频的真实性，而且可以进一步溯源取证，得到虚假音频的生成来源。
-
公开(公告)号：CN115083423A
公开(公告)日：2022-09-20
申请号：CN202210861979.6
申请日：2022-07-21
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本公开涉及一种语音鉴别的数据处理方法和装置，涉及语音识别技术、人工智能和计算机技术领域，上述数据处理方法包括：获取待鉴别音频；对上述待鉴别音频进行特征提取，得到初始声学特征；对上述初始声学特征进行量化处理，得到量化声学特征；将上述量化声学特征输入至目标语音鉴别模型中进行处理，输出得到上述待鉴别音频的真伪结果，上述目标语音鉴别模型为参数预训练好且经过量化后的语音鉴别模型。在确保语音真伪鉴别准确率的基础上能够提升语音真伪鉴别的鉴别速度，提升数据处理的效率。
-
公开(公告)号：CN113936647B
公开(公告)日：2022-04-01
申请号：CN202111548060.3
申请日：2021-12-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明实施例公开了一种语音识别模型的训练方法、语音识别方法和系统，涉及语音识别技术领域。该实施例包括：将音频训练样本输入声学编码器，对音频训练样本进行编码表示，确定声学编码状态向量；将预设的词表输入语言预测器中，确定文本预测向量；将文本预测向量线输入文本映射层，得到文本输出概率分布；根据音频训练样本对应的目标文本序列和文本输出概率分布，计算第一损失函数；将文本预测向量和声学编码状态向量输入联合网络，计算第二损失函数，根据第一损失函数和第二损失函数进行迭代优化，直至满足停止条件。本实施例对语音识别模型的训练、预测过程进行了调整，提高了该语义识别模型的建模能力，从而提高了该语音识别模型的准确率。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.027 seconds)
