一种多模态情绪识别方法、系统、设备及介质

    公开(公告)号:CN117409396A

    公开(公告)日:2024-01-16

    申请号:CN202311416752.1

    申请日:2023-10-30

    Applicant: 复旦大学

    Inventor: 林燕丹 吴磊磊

    Abstract: 本发明公开一种多模态情绪识别方法、系统、设备及介质,涉及情绪识别领域;所述方法包括:获取驾驶员的多模态数据;对脑电信息数据进行分帧处理并进行特征提取,得到脑电特征向量;对人脸图像数据进行灰度转换以及特征检测,得到人脸特征向量;对脑电特征向量和人脸特征向量进行拼接,得到多模态融合向量;采用对抗网络对多模态融合向量进行数据增强处理,得到增强特征融合向量;将多模态融合向量和增强特征融合向量输入至情绪识别模型,输出情绪识别结果;情绪识别模型是采用学习算法构建的;本发明能够提高情绪识别的准确率和响应速率。

Patent Agency Ranking