基于多模态上下文分层分步对齐的虚假信息检测方法

    公开(公告)号:CN117521012A

    公开(公告)日:2024-02-06

    申请号:CN202311569509.3

    申请日:2023-11-23

    Abstract: 本发明公开一种基于多模态上下文分层分步对齐的虚假信息检测方法和系统,获取社交媒体博文中的图像和文本;建立具有双向交叉模态注意的局部对齐模块,推断片段级别的匹配关系;建立全局上下文融合实体特征提取模块,利用多头自注意力机制帮助局部对象学习更多上下文语义,增强图像和文本特征的上下文表示;设计自适应权重过滤模块以进行图像‑文本实体特征对齐,根据两个模态增强特征的相似性,整合所有加权特征实现全局匹配,抑制整体语义偏差;将这两个不同级别融合实体特征的整体相似度输入二值分类器中,得出虚假信息检测的结果。本发明通过整合上下文信息,可保留文本和图像完整的语义信息,提高虚假信息检测的准确率。

Patent Agency Ranking