-
公开(公告)号:CN113436619B
公开(公告)日:2022-08-26
申请号:CN202110594164.1
申请日:2021-05-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G10L15/06 , G10L15/08 , G10L19/18 , G10L25/18 , G10L25/24 , G10L25/27 , G10L25/30 , G10L25/45 , G10L25/54 , H04L9/32 , G10L15/14
Abstract: 本发明提供了一种语音识别解码的方法及装置。语音识别解码方法包括:确定待识别语音的N个子帧所对应的对数梅尔谱特征序列;通过经训练的神经网络编码器,处理所述对数梅尔谱特征序列,得到所述N个子帧各自对应的字符或者空白符的发射概率;根据预先确定的第一加权有限状态转移器以及所述N个子帧各自对应的的字符或者空白符的发射概率,采用束搜索算法搜索分数最高的词语序列。相比于传统的语音识别系统,本申请省略了帧级别对齐的流程,简化了训练和解码的流程;相比于端到端语音识别系统,在束搜索算法过程中使用加权有限状态转移器加快解码速度,高效地利用训练音频数据之外的文本数据,可以在多种领域快速部署语音识别系统。
-
公开(公告)号:CN111354347A
公开(公告)日:2020-06-30
申请号:CN201811571564.5
申请日:2018-12-21
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G10L15/08
Abstract: 本发明提出了一种基于自适应热词权重的语音识别方法及系统,所述方法包括:生成热词网络并和静态解码网络一起加载到语音识别解码器中;将待识别的语音信号同步地在静态解码网络和热词网络上进行令牌传递,自适应地计算热词权重,并对静态解码网络上令牌的分数重新打分;输出解码结果。本发明的基于自适应热词权重的语音识别方法在一遍解码的过程中就能提升热词召回率,不影响解码的速度,并且自适应地计算热词权重既能有效地提高热词的召回率,不影响原先的解码速度,又能提高系统的鲁棒性。
-
公开(公告)号:CN111354347B
公开(公告)日:2023-08-15
申请号:CN201811571564.5
申请日:2018-12-21
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G10L15/08
Abstract: 本发明提出了一种基于自适应热词权重的语音识别方法及系统,所述方法包括:生成热词网络并和静态解码网络一起加载到语音识别解码器中;将待识别的语音信号同步地在静态解码网络和热词网络上进行令牌传递,自适应地计算热词权重,并对静态解码网络上令牌的分数重新打分;输出解码结果。本发明的基于自适应热词权重的语音识别方法在一遍解码的过程中就能提升热词召回率,不影响解码的速度,并且自适应地计算热词权重既能有效地提高热词的召回率,不影响原先的解码速度,又能提高系统的鲁棒性。
-
公开(公告)号:CN113436616B
公开(公告)日:2022-08-02
申请号:CN202110594183.4
申请日:2021-05-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本申请提出一种多领域自适应的端到端语音识别方法,所述方法包括:提取待识别语音的第一特征;将所述第一特征和领域标签输入训练好的端到端语音识别模型;所述领域标签是为所述待识别语音的预先设定的口音标签;基于所述训练好的端到端语音识别模型,根据所述领域标签提取第二特征,将所述第一特征与所述第二特征拼接后进行编码得到第三特征;对所述第三特征进行解码,得到多条候选文本,输出第一文本候选列表,所述第一文本候选列表包括所述多条候选文本。本申请通过使用多领域自适应的方法,利用丰富资源领域预训练模型、多目标领域数据及多目标领域鉴别特征来提升在多个目标领域上的语音识别性能。
-
公开(公告)号:CN113436619A
公开(公告)日:2021-09-24
申请号:CN202110594164.1
申请日:2021-05-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G10L15/06 , G10L15/08 , G10L19/18 , G10L25/18 , G10L25/24 , G10L25/27 , G10L25/30 , G10L25/45 , G10L25/54 , H04L9/32 , G10L15/14
Abstract: 本发明提供了一种语音识别解码的方法及装置。语音识别解码方法包括:确定待识别语音的N个子帧所对应的对数梅尔谱特征序列;通过经训练的神经网络编码器,处理所述对数梅尔谱特征序列,得到所述N个子帧各自对应的字符或者空白符的发射概率;根据预先确定的第一加权有限状态转移器以及所述N个子帧各自对应的的字符或者空白符的发射概率,采用束搜索算法搜索分数最高的词语序列。相比于传统的语音识别系统,本申请省略了帧级别对齐的流程,简化了训练和解码的流程;相比于端到端语音识别系统,在束搜索算法过程中使用加权有限状态转移器加快解码速度,高效地利用训练音频数据之外的文本数据,可以在多种领域快速部署语音识别系统。
-
公开(公告)号:CN113436616A
公开(公告)日:2021-09-24
申请号:CN202110594183.4
申请日:2021-05-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本申请提出一种多领域自适应的端到端语音识别方法,所述方法包括:提取待识别语音的第一特征;将所述第一特征和领域标签输入训练好的端到端语音识别模型;所述领域标签是为所述待识别语音的预先设定的口音标签;基于所述训练好的端到端语音识别模型,根据所述领域标签提取第二特征,将所述第一特征与所述第二特征拼接后进行编码得到第三特征;对所述第三特征进行解码,得到多条候选文本,输出第一文本候选列表,所述第一文本候选列表包括所述多条候选文本。本申请通过使用多领域自适应的方法,利用丰富资源领域预训练模型、多目标领域数据及多目标领域鉴别特征来提升在多个目标领域上的语音识别性能。
-
公开(公告)号:CN111128191B
公开(公告)日:2023-03-28
申请号:CN201911415035.0
申请日:2019-12-31
Applicant: 中国科学院声学研究所
Abstract: 本发明提供一种在线端对端语音转写方法及系统,在一个实施例中,对所述音频文件提取声学特征;对所述声学特征进行非线性变换和降采样并输出第一特征序列;将第一特征序列进行分块,依次将每块特征序列输入到编码器中并输出多组第二特征序列;对所述第二特征序列进行建模,输出多组汉字序列并对所述多组汉字序列进行打分;将分数最高的汉字序列作为最终转写结果。通过改进编码器结构,让其处理分块的音频;通过改进解码器的结构,让其在截断音频的基础上输出汉字。使得在输入音频的同时转写文本。
-
公开(公告)号:CN111179918B
公开(公告)日:2022-10-14
申请号:CN202010106791.1
申请日:2020-02-20
Applicant: 中国科学院声学研究所 , 中科信利(广州)技术有限公司
Abstract: 本发明实施例提供了一种联结主义时间分类和截断式注意力联合在线语音识别技术。构建了基于编码器、解码器、截断式注意力和联结主义时间分类器的语音识别神经网络模型,采用交叉熵准则和联结主义时间分类准则训练该神经网络模型;将语音流输入解码器,将存留的汉字序列输入编码器,利用截断式注意力机制截取有效的语音片段;根据截取的语音片段,对每条存留的汉字序列预测多个汉字,并于之构成一个新的汉字序列,并评分;联结主义时间分类器将解码拓展的多组汉字序列和已接收的语音对齐,并评分;对两种评分取平均,对各汉字序列进行剪枝;当满足终止条件时输出识别结果。该方法很大程度提升在线语音识别的性能。
-
公开(公告)号:CN111128191A
公开(公告)日:2020-05-08
申请号:CN201911415035.0
申请日:2019-12-31
Applicant: 中国科学院声学研究所
Abstract: 本发明提供一种在线端对端语音转写方法及系统,在一个实施例中,对所述音频文件提取声学特征;对所述声学特征进行非线性变换和降采样并输出第一特征序列;将第一特征序列进行分块,依次将每块特征序列输入到编码器中并输出多组第二特征序列;对所述第二特征序列进行建模,输出多组汉字序列并对所述多组汉字序列进行打分;将分数最高的汉字序列作为最终转写结果。通过改进编码器结构,让其处理分块的音频;通过改进解码器的结构,让其在截断音频的基础上输出汉字。使得在输入音频的同时转写文本。
-
公开(公告)号:CN111179918A
公开(公告)日:2020-05-19
申请号:CN202010106791.1
申请日:2020-02-20
Applicant: 中国科学院声学研究所 , 中科信利(广州)技术有限公司
Abstract: 本发明实施例提供了一种联结主义时间分类和截断式注意力联合在线语音识别技术。构建了基于编码器、解码器、截断式注意力和联结主义时间分类器的语音识别神经网络模型,采用交叉熵准则和联结主义时间分类准则训练该神经网络模型;将语音流输入解码器,将存留的汉字序列输入编码器,利用截断式注意力机制截取有效的语音片段;根据截取的语音片段,对每条存留的汉字序列预测多个汉字,并于之构成一个新的汉字序列,并评分;联结主义时间分类器将解码拓展的多组汉字序列和已接收的语音对齐,并评分;对两种评分取平均,对各汉字序列进行剪枝;当满足终止条件时输出识别结果。该方法很大程度提升在线语音识别的性能。
-
-
-
-
-
-
-
-
-