公开(公告)号：CN111785301B

公开(公告)日：2022-08-23

申请号：CN202010597012.2

申请日：2020-06-28

Applicant: 重庆邮电大学

Inventor： 胡章芳 ,  唐珊珊 ,  罗元 ,  张昊 ,  诸海渝

IPC: G10L25/63 ,  G10L25/45 ,  G10L25/30

Abstract: 本发明请求保护一种基于残差网络的3DACRNN语音情感识别方法及存储介质，该方法包括步骤：S1，将语音信号转换为语谱图，通过堆叠多个连续帧的方法将语谱图处理成三维数据做为Res3DCNN的输入；S2，Res3DCNN从语谱图中提取情感语音的短期时空特征，利用残差网络补偿传统CNNs在卷积过程中缺失的特征；S3，通过ARNN提取时空特征的长期依赖关系，改善时空关联性弱的问题，为了降低计算复杂度，本发明提出一种新颖的后遗忘门结构改进传统LSTM；S4，在模型训练的过程中各自更新自身的参数使得损失最小，通过不断迭代优化，最终使模型达到最优；S5，最后利用Softmax层进行情感分类。本发明能够有效解决原始特征丢失严重以及时空关联性弱的问题，提高识别准确率。

公开(公告)号：CN111968629A

公开(公告)日：2020-11-20

申请号：CN202010651174.X

申请日：2020-07-08

Applicant: 重庆邮电大学

Inventor： 胡章芳 ,  蹇芳 ,  唐珊珊 ,  明子平 ,  姜博文

IPC: G10L15/16 ,  G10L15/183 ,  G10L15/02

Abstract: 本发明请求保护一种结合Transformer和CNN-DFSMN-CTC的中文语音识别方法，该方法包括步骤：S1，将语音信号进行预处理，提取80维的log mel Fbank特征；S2，将提取到的80维Fbank特征用CNN卷积网络进行卷积；S3，将特征输入到DFSMN网络结构中；S4，将CTC loss作为声学模型的损失函数，采用Beam search算法进行预测，使用Adam优化器进行优化；S5，引入强语言模型Transformer迭代训练直至达到最优模型结构；S6，将Transformer和声学模型CNN-DFSMN-CTC相结合进行适配，在多数据集上进行验证，最终得到最优识别结果。本发明识别准确率更高，解码速度更快，在多个数据集上验证后字符错误率达到了11.8％，其中在Aidatatang数据集上最好达到了7.8％的字符错误率。

公开(公告)号：CN111785301A

公开(公告)日：2020-10-16

申请号：CN202010597012.2

申请日：2020-06-28

Applicant: 重庆邮电大学

Inventor： 胡章芳 ,  唐珊珊 ,  罗元 ,  张昊 ,  诸海渝

IPC: G10L25/63 ,  G10L25/45 ,  G10L25/30

Abstract: 本发明请求保护一种基于残差网络的3DACRNN语音情感识别方法及存储介质，该方法包括步骤：S1，将语音信号转换为语谱图，通过堆叠多个连续帧的方法将语谱图处理成三维数据做为Res3DCNN的输入；S2，Res3DCNN从语谱图中提取情感语音的短期时空特征，利用残差网络补偿传统CNNs在卷积过程中缺失的特征；S3，通过ARNN提取时空特征的长期依赖关系，改善时空关联性弱的问题，为了降低计算复杂度，本发明提出一种新颖的后遗忘门结构改进传统LSTM；S4，在模型训练的过程中各自更新自身的参数使得损失最小，通过不断迭代优化，最终使模型达到最优；S5，最后利用Softmax层进行情感分类。本发明能够有效解决原始特征丢失严重以及时空关联性弱的问题，提高识别准确率。