公开(公告)号：CN119377876A

公开(公告)日：2025-01-28

申请号：CN202411301655.2

申请日：2024-09-18

Applicant: 安徽大学

Inventor： 吕钊 ,  李傲 ,  吴敏超 ,  李心慧 ,  王勇明 ,  李佳泉

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0464

Abstract: 本发明公开了一种基于多模态融合数据增强框架的情感识别方法，包括以下步骤：S1：提取包括n个生理信号的多模态输入序列，将这些多模态输入序列使用CNXAF模型进行模态融合，得到多模态融合数据；S2：使用条件自注意力生成对抗网络C‑SAGAN对所述多模态融合数据进行数据增强，得到增强数据集，C‑SAGAN网络包括生成器和判别器两个组件；S3：利用预先训练的改进型ConvNeXt‑t模型对增强数据集进行情感识别。还公开了一种基于多模态融合数据增强框架的情感识别系统。本发明能够对多模态生理信号进行数据融合和数据扩充，端到端地实现高精度的多模态情感识别。