公开(公告)号：CN114898776A

公开(公告)日：2022-08-12

申请号：CN202210497889.3

申请日：2022-05-09

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  王静 ,  张子晓 ,  李秋

IPC: G10L25/63 ,  G10L25/18 ,  G10L25/21 ,  G10L25/30

Abstract: 本发明公开了一种多尺度特征联合多任务CNN决策树的语音情感识别方法，首先采集每条语音在帧长为256、400和512时的MFCC参数、能量参数、基因频率参数和短时过零率参数的统计特征，将三个尺度下的统计特征进行融合，用于输入多任务1DCNN模型；然后引入性别识别辅助任务，在1DCNN中同时进行语音情感和性别识别任务；再构造多任务1DCNN决策树模型，实现由粗到细地进行情感划分；最后对多任务CNN决策树的语音情感识别方法进行性能评估；本发明进一步挖掘了语音信号的多尺度情感特征并引入多任务的1DCNN决策树进行语音情感识别，使得系统的情感识别性能、泛化能力进一步提升，可以很好地应用于智能人机交互中。

公开(公告)号：CN119170055A

公开(公告)日：2024-12-20

申请号：CN202410951511.5

申请日：2024-07-16

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  雷云龙 ,  张子晓 ,  叶蕾 ,  李平安

IPC: G10L25/63 ,  G10L25/30

Abstract: 本发明公开了一种基于师生模型的多任务约束端到端含噪语音情感识别方法，包括：提出一个端到端的基于师生模型的多任务约束网络，借鉴知识蒸馏的思想，完成教师模型的多任务训练后，采用已训练成熟的教师模型提炼出纯净、显著的情感特征，来指导学生模型的训练过程；引入了一种多级增强损失机制，使学生模型能够在中间层学习到教师模型从干净语音中提取的关键情感信息；采用了语音增强辅助任务的思想，将语音增强辅助任务与多级增强损失相结合；在测试阶段时，仅需关注学生模型中特定于语音情感识别分类的核心流程，有效地提升了测试的执行速率。本发明实现了噪声环境下的语音情感识别任务，使情感分类准确率提升，适用于智能客服和心理健康监测。

公开(公告)号：CN116721677A

公开(公告)日：2023-09-08

申请号：CN202310892828.1

申请日：2023-07-20

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  张子晓 ,  王静 ,  李平安 ,  叶蕾

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03 ,  G10L21/0208 ,  G10L25/18 ,  G10L21/0216

Abstract: 本发明提供了一种基于多任务协同注意门控网络的含噪语音情感识别方法，通过将语音情感分类主任务与语音增强次任务相结合的多任务协同注意门控网络，提高了特征的鲁棒性，在噪声环境下获得了优异的情绪识别性能；针对语音情感分类主任务，利用情感特征的通道和空间信息，融合局部特征和全局特征，提高了在语音情感识别系统中特征表达的可分辨性；模型中的次任务为语音增强，以降低噪声对深层特征的影响，通过共享表示学习使系统的整体鲁棒性得到加强，实现了噪声环境语音情感分类系统性能的提升。

公开(公告)号：CN117095702A

公开(公告)日：2023-11-21

申请号：CN202310909951.X

申请日：2023-07-24

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  王静 ,  张子晓 ,  李平安 ,  叶蕾

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/24 ,  G10L25/18 ,  G10L13/027 ,  G10L13/08

Abstract: 本发明公开了一种基于门控多级特征编码网络的多模态情感识别方法，首先，对原始输入的语音和文本模态分别进行浅层特征提取；然后，针对不同模态构建深度编码网络，获取与情感相关的深层特征。为了更好的探索语音的空间信息，引入分支网络，获取基于深度卷积网络的谱图信息；设计自适应多模态门控融合模块，实现三个模态特征信息的动态融合，实现基于门控多级特征编码网络的模型搭建；最后，对基于门控多级特征编码网络的多模态情感识别方法进行性能评估；本发明进一步挖掘了输入信号的多层次情感信息并构建了基于门控的多级特征编码网络进行多模态情感识别，使得系统的情感识别性能、泛化能力进一步提升，可以很好地应用于智能人机交互中。