公开(公告)号：CN119181045B

公开(公告)日：2025-04-04

申请号：CN202411291553.7

申请日：2024-09-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  彭君印 ,  安俊秀

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06F16/901 ,  G06F16/783

Abstract: 本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。

公开(公告)号：CN119181045A

公开(公告)日：2024-12-24

申请号：CN202411291553.7

申请日：2024-09-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  彭君印 ,  安俊秀

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06F16/901 ,  G06F16/783

Abstract: 本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。