-
公开(公告)号:CN116384340B
公开(公告)日:2023-08-29
申请号:CN202310574093.8
申请日:2023-05-22
Applicant: 中国科学技术大学
IPC: G06F40/126 , G06F40/35 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084 , H04N21/44 , H04N21/466 , H04N21/488
Abstract: 本发明涉及视频弹幕情感分析技术领域,公开了一种基于变分跨模态表征的实时弹幕情感分析方法,包括视频编码、自动门控、文本编码、特征融合、弹幕重构和弹幕情感分析,最终预测得到弹幕情感。本方法利用自动门控模块将周围弹幕作为目标弹幕的上下文信息,并利用文本编码模块对目标弹幕进行特征提取,在编码模块和解码模块之间的特征融合模块会把视频信息融入进来,解码模块中的弹幕重构模块可以学习到不同模态之间的关系,促进情感分析模块预测出弹幕情感。
-
公开(公告)号:CN116189064B
公开(公告)日:2023-08-29
申请号:CN202310458854.3
申请日:2023-04-26
Applicant: 中国科学技术大学
IPC: G06V20/40 , G06V10/774 , G06F17/16 , G06N20/00
Abstract: 本发明公开了一种基于联合模型的弹幕情感分析方法及系统,将弹幕评论输入到已训练完成的联合模型中以输出所述弹幕评论对应的情感倾向,所述联合模型包括编码模块和解码模块,所述编码模块包含视频编码模块、文本编码模块、门控融合模块以及多模态融合模块,解码模块包括弹幕重构模块和情感分析模块,解码模块以编码模块的输出作为输入从而输出弹幕评论对应的情感分析倾向;该弹幕情感分析方法及系统利用门控融合筛选机制将周围弹幕评论作为目标弹幕评论的上下文信息,并利用多模态融合方式将视频信息考虑进来,充分利用有用的信息强化视频弹幕的特征表示,以准确识别目标弹幕评论的感情倾向。
-
公开(公告)号:CN116384340A
公开(公告)日:2023-07-04
申请号:CN202310574093.8
申请日:2023-05-22
Applicant: 中国科学技术大学
IPC: G06F40/126 , G06F40/35 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084 , H04N21/44 , H04N21/466 , H04N21/488
Abstract: 本发明涉及视频弹幕情感分析技术领域,公开了一种基于变分跨模态表征的实时弹幕情感分析方法,包括视频编码、自动门控、文本编码、特征融合、弹幕重构和弹幕情感分析,最终预测得到弹幕情感。本方法利用自动门控模块将周围弹幕作为目标弹幕的上下文信息,并利用文本编码模块对目标弹幕进行特征提取,在编码模块和解码模块之间的特征融合模块会把视频信息融入进来,解码模块中的弹幕重构模块可以学习到不同模态之间的关系,促进情感分析模块预测出弹幕情感。
-
公开(公告)号:CN116189064A
公开(公告)日:2023-05-30
申请号:CN202310458854.3
申请日:2023-04-26
Applicant: 中国科学技术大学
IPC: G06V20/40 , G06V10/774 , G06F17/16 , G06N20/00
Abstract: 本发明公开了一种基于联合模型的弹幕情感分析方法及系统,将弹幕评论输入到已训练完成的联合模型中以输出所述弹幕评论对应的情感倾向,所述联合模型包括编码模块和解码模块,所述编码模块包含视频编码模块、文本编码模块、门控融合模块以及多模态融合模块,解码模块包括弹幕重构模块和情感分析模块,解码模块以编码模块的输出作为输入从而输出弹幕评论对应的情感分析倾向;该弹幕情感分析方法及系统利用门控融合筛选机制将周围弹幕评论作为目标弹幕评论的上下文信息,并利用多模态融合方式将视频信息考虑进来,充分利用有用的信息强化视频弹幕的特征表示,以准确识别目标弹幕评论的感情倾向。
-
-
-