公开(公告)号：CN117746908A

公开(公告)日：2024-03-22

申请号：CN202311672258.1

申请日：2023-12-07

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  汪雨果 ,  周晓阳 ,  包岩

IPC: G10L25/63 ,  G10L25/30 ,  G10L25/03 ,  G10L25/24

Abstract: 本发明提供一种基于时频特征分离式transformer交叉融合架构的语音情感识别方法，包括以下步骤S1、对原始语音信号进行预处理，将所述原始语音信号转换为相应的特征表示，包括语谱图和音频梅尔频率倒谱系数；S2、从所述特征表示中进行特征提取，使用两条支路提取特征，其中一条支路通过时频分离式transformer交叉融合架构提取特征，另一条支路通过扩张因果卷积网络提取特征；S3、进行特征融合，使用transformer的多头自注意力机制来动态地融合时频分离式transformer交叉融合架构和扩张因果卷积输出特征；S4、输出结果，使用输出层来对时频分离式transformer交叉融合架构的输出进行分类或回归，以使时频分离式transformer交叉融合架构适应训练数据，并对任务进行预测或分类。