公开(公告)号：CN114936267A

公开(公告)日：2022-08-23

申请号：CN202210509676.8

申请日：2022-05-11

Applicant: 西安交通大学医学院第二附属医院

Inventor： 李嘉恒 ,  徐颂华 ,  徐宗本 ,  李宗芳

IPC: G06F16/33 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于双线性池化的多模态融合在线谣言检测方法及系统，该方法应用预训练的句BERT模型提取了谣言的语义特征，设计一个主题语义融合网络共同编码语义和主题特征，并生成相比传统语义特征更高效的主题指导的高阶文本特征，设计基于PageRank影响力加权的双向GCN网络，通过获取传播结构中节点的相对位置信息生成相比传统GCN网络更有效的传播结构特征，对于完整数据集的谣言检测任务，本发明设计块对角分解双线性池化模型，该模型刻画了多模态间的丰富交互，利用富含交互关系的多模态联合表示特征提升谣言检测的准确率，在其中应用链式映射和改进的块对角分解控制训练参数规模以降低刻画交互的张量中的冗余信息。

公开(公告)号：CN114936266A

公开(公告)日：2022-08-23

申请号：CN202210509666.4

申请日：2022-05-11

Applicant: 西安交通大学医学院第二附属医院

Inventor： 徐颂华 ,  李嘉恒 ,  徐宗本 ,  李宗芳

IPC: G06F16/33 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于门控机制的多模态融合谣言早期检测方法及系统，该方法应用预训练的句BERT模型提取了谣言的语义特征，设计一个主题语义融合网络共同编码语义和主题特征，并生成相比传统语义特征更高效的主题指导的高阶文本特征，设计基于PageRank影响力加权的双向GCN网络，通过获取传播结构中节点的相对位置信息生成相比传统GCN网络更有效的传播结构特征；基于门控机制的模型通过门控单元筛选传播结构特征中对谣言检测有意义的部分，自适应地对主题指导的文本特征和筛选后的传播结构特征进行加权融合，生成多模态联合表示特征；经过训练的多模态门控融合模型可以筛选出传播结构特征中有用的信息，在传播信息不足的情况下达到良好的谣言检测性能。