基于多模态特征融合的情感识别方法、系统、装置及介质

    公开(公告)号:CN113807249B

    公开(公告)日:2024-01-12

    申请号:CN202111090685.X

    申请日:2021-09-17

    Applicant: 广州大学

    Abstract: 本发明公开了一种基于多模态特征融合的情感识别方法、系统、装置及介质,方法包括:获取预设的第一语音信息和对应的第一视觉信息,对第一语音信息和第一视觉信息进行特征提取得到语音特征图像和表情特征图像;对语音特征图像和表情特征图像进行特征融合得到第一多模态特征,根据第一多模态特征构建训练数据集;将训练数据集输入到预先构建的卷积神经网络中进行训练,得到训练好的多模态特征识别模型;根据多模态特征识别模型对待测者的情感进行识别。本发明一方面降低了模型复杂度,提高了模型训练和情感识别的效率,另一方面,同时考虑了语音特征和表情特征对模型的情感识别结果的影响,提高了情感识别的准确度,可广泛应用于情感识别技术领域。

    基于多模态特征融合的情感识别方法、系统、装置及介质

    公开(公告)号:CN113807249A

    公开(公告)日:2021-12-17

    申请号:CN202111090685.X

    申请日:2021-09-17

    Applicant: 广州大学

    Abstract: 本发明公开了一种基于多模态特征融合的情感识别方法、系统、装置及介质,方法包括:获取预设的第一语音信息和对应的第一视觉信息,对第一语音信息和第一视觉信息进行特征提取得到语音特征图像和表情特征图像;对语音特征图像和表情特征图像进行特征融合得到第一多模态特征,根据第一多模态特征构建训练数据集;将训练数据集输入到预先构建的卷积神经网络中进行训练,得到训练好的多模态特征识别模型;根据多模态特征识别模型对待测者的情感进行识别。本发明一方面降低了模型复杂度,提高了模型训练和情感识别的效率,另一方面,同时考虑了语音特征和表情特征对模型的情感识别结果的影响,提高了情感识别的准确度,可广泛应用于情感识别技术领域。

Patent Agency Ranking