公开(公告)号：CN116775873A

公开(公告)日：2023-09-19

申请号：CN202310738400.1

申请日：2023-06-20

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  唐勇强 ,  谢金宝 ,  蒋雅冰 ,  王玉龙

IPC: G06F16/35 ,  G06F18/24 ,  G06F18/25 ,  G06F40/35 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种多模态对话情感识别方法，属于对话情感识别技术领域。包括：S1.使用不同的编码器对每轮对话的单模态数据进行编码，得到对话中每个模态的特征表示；S2.对一轮对话的上下文对话信息进行聚合；S3.将对话中的每句话交互的多模态特征进行线性变换后进行模态间的特征融合；S4.基于辅助任务对每个模态的特征使用独立的分类器进行分类，使用主任务分类器对融合后的特征进行主任务情感分类，分别计算分类损失，最终模型损失由辅助任务和主任务损失进行加权计算；S5.将多模态数据输入至主任务分类器中，输出情感类别。解决没有结合所有对话上下文对情感信息进行充分的挖掘，各模态数据表达情感的关联性没有被充分利用的问题。