公开(公告)号：CN114999006B

公开(公告)日：2024-11-15

申请号：CN202210560653.X

申请日：2022-05-20

Applicant: 南京邮电大学

Inventor： 邓丽珍 ,  徐尚 ,  朱虎

IPC: G06V40/70 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06V40/16 ,  G10L25/63 ,  G06V10/774 ,  G06N3/0455 ,  G06V10/764

Abstract: 本发明提供一种基于不确定性估计的多模态情感分析方法、装置及设备，通过获取多模态情感分析数据集，进行特征提取得到对应的音频特征、视频特征和文本特征；得到表征后的音频特征、视频特征；将得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型，得到对应音频、视频和文本模态的迪利克雷分布与不确定性估计；得到情感分类结果与总体不确定性估计；得到训练后的基于迪利克雷分布的不确定性估计模型；模型输出得到的预测结果；本发明识别精度更高，具有更强的鲁棒性和更优的可解释性，且对计算资源要求低，对多模态数据进行分析耗时更短，更符合实际场景的需要。

公开(公告)号：CN114999006A

公开(公告)日：2022-09-02

申请号：CN202210560653.X

申请日：2022-05-20

Applicant: 南京邮电大学

Inventor： 邓丽珍 ,  徐尚 ,  朱虎

IPC: G06V40/70 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06V40/16 ,  G10L25/63 ,  G06V10/774 ,  G06N3/04 ,  G06V10/764

Abstract: 本发明提供一种基于不确定性估计的多模态情感分析方法、装置及设备，通过获取多模态情感分析数据集，进行特征提取得到对应的音频特征、视频特征和文本特征；得到表征后的音频特征、视频特征；将得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型，得到对应音频、视频和文本模态的迪利克雷分布与不确定性估计；得到情感分类结果与总体不确定性估计；得到训练后的基于迪利克雷分布的不确定性估计模型；模型输出得到的预测结果；本发明识别精度更高，具有更强的鲁棒性和更优的可解释性，且对计算资源要求低，对多模态数据进行分析耗时更短，更符合实际场景的需要。