公开(公告)号：CN119007073A

公开(公告)日：2024-11-22

申请号：CN202411073752.0

申请日：2024-08-07

Applicant: 吉林大学

Inventor： 陈建 ,  周北茗 ,  林琳 ,  孙晓颖 ,  燕学智 ,  刘思宇 ,  王梓琪 ,  丁亚军

IPC: G06V20/40 ,  G06F18/25 ,  G06F18/2415 ,  G06V10/764 ,  G06V40/16 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及一种基于脑不对称和多角度融合网络的情感识别方法，属于人工智能领域。包括数据清洗，单模态特征提取，构建模态独立编码器，构建多角度融合网络，情感分析网络的优化与情感识别。优点是通过设计基于脑不对称的迭代噪声过滤算法，能够有效减少数据中的噪声干扰，从而提高数据质量。采用两个模态独立编码器和一个预训练网络，可以有效提取单模态特征。在多模态生理信号与面部表情融合方面，利用多角度融合网络引入了双向融合约束，从单模态特征到多模态表征的生成以及从多模态表征到单模态特征的生成，能够获取模态互补特征和共通特征，减少模态间冗余信息，更全面的捕捉多模态特征的多模态特征的互补性和共通性。