-
公开(公告)号：CN118965260A
公开(公告)日：2024-11-15
申请号：CN202410997016.8
申请日：2024-07-24
Applicant: 哈尔滨工程大学
IPC: G06F18/25 , G06F18/2431
Abstract: 一种基于混合机制的多模态情感分析方法及系统，属于情感分析技术领域，解决了跨模态交互可能异步发生的问题，以及冗余信息传递过多的问题。所述方法包括：采集视频流数据并分离成多模态数据；对多模态数据进行预处理；利用COVAREP、FACET、BERT模型进行信息嵌入；使用TCN获取独立模态内时序关联，对音频和图像采用基于自注意力的Transformer‑encoder进行编码表示；抽取出音频、图像和文本中的私有特征和公有特征，传入CMD损失、重构损失以及相似度损失函数，获得损失值并进行梯度回传更新；输入跨模态融合模块抽取出不同模态之间的特征；最后，融合早期、中期和晚期的多模态特征对视频情感进行综合判定。本发明适用于舆情分析、商品推荐、股票预测等场景。
Search Results
1
records
(took 0.017 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
