公开(公告)号：CN117992872A

公开(公告)日：2024-05-07

申请号：CN202410113960.2

申请日：2024-01-27

Applicant: 北京信息科技大学 ,  中国电子信息产业集团有限公司第六研究所

Inventor： 李军 ,  邵彦华 ,  何永瑾 ,  李卓远 ,  蒋文韬 ,  任亚唯

IPC: G06F18/2415 ,  G06F18/243 ,  G06F18/213 ,  G06F18/25 ,  G06V10/82 ,  G06V10/44 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于注意力机制多模态虚假信息检测网络，它涉及虚假信息检测技术领域。采用BERT模型加Bi‑GRU模型实现对文本模态的数据信息进行特征提取，再通过Faster‑RCNN对图片模态数据的特征进行提取；通过对比学习预训练对两个不同模态不同维度的特征向量进行特征对齐，之后通过注意力机制建立模间注意力机制和模内注意力机制，捕获语言和视觉领域不同模态之间的特征进行交互，并将这个过程多次迭代，实现多模态的最终表征，得到最终的联合表征模型用于检测虚假信息，最后得到多模态信息的真实性概率。本发明实现对媒体平台和社交软件中虚假信息进行准确检测，对虚假信息及谣言进行及时甄别，保护数据真实性和有效性。