公开(公告)号：CN116010874A

公开(公告)日：2023-04-25

申请号：CN202211385396.7

申请日：2022-11-07

Applicant: 哈尔滨工程大学

Inventor： 赵政道 ,  王宇华

IPC: G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/0442 ,  G10L25/30 ,  G10L25/63

Abstract: 本发明涉及一种基于深度学习多模态深尺度情感特征融合的情感识别方法。输入wav格式的一段语音及转录文本，利用ME模块分别通过BERT、ECAPA‑TDNN、huBERT预训练模型得到它的通用文本特征、说话人特征以及通用语音特征；利用DST模块在多层次、深尺度的特征范围对情感相关特征进行凝练和提取；利用MT模块对多模态信息的互相关信息进行计算，并在话语级特征表示中引入说话人特征得到说话人相关的情态特征；利用MFC模块对多模态互信息、说话人相关特征、深尺度情感特征进行注意力加权，输出情感识别结果矩阵；最终输出情感识别矩阵中概率最大的情感类别，完成对一段语音及转录文本的情感识别。本发明用以提高人机交互中多模态情感识别任务的情感识别效率。