公开(公告)号：CN119357900B

公开(公告)日：2025-05-13

申请号：CN202411507526.9

申请日：2024-10-28

Applicant: 北京邮电大学

Inventor： 应霜霜 ,  何召锋 ,  张栋森 ,  茹一伟 ,  项刘宇 ,  吴惠甲 ,  黄际政

IPC: G06F18/25 ,  G06F18/10 ,  G06N3/042 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了一种基于图神经网络的多模态阅读眼动表征方法，属于智能学习领域，该方法包括以下步骤：获取被试眼动数据，对所述被试眼动数据进行预处理得到预处理眼动数据；将所述预处理眼动数据转化为拓扑结构图；对所述拓扑结构图进行迭代与多维注意力处理得到节点特征和多维边特征；基于图注意力网络的多维建模方法对所述节点特征和所述多维边特征进行交互融合得到最终的阅读眼动表征输出。本发明提出了一种结合了门控神经网络和边特征图注意力网络的多模态眼动表征方法，能够有效融合眼动特征和文本刺激信息，实现对眼动追踪数据的高效表征。

公开(公告)号：CN119357900A

公开(公告)日：2025-01-24

申请号：CN202411507526.9

申请日：2024-10-28

Applicant: 北京邮电大学

Inventor： 应霜霜 ,  何召锋 ,  张栋森 ,  茹一伟 ,  项刘宇 ,  吴惠甲 ,  黄际政

IPC: G06F18/25 ,  G06F18/10 ,  G06N3/042 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了一种基于图神经网络的多模态阅读眼动表征方法，属于智能学习领域，该方法包括以下步骤：获取被试眼动数据，对所述被试眼动数据进行预处理得到预处理眼动数据；将所述预处理眼动数据转化为拓扑结构图；对所述拓扑结构图进行迭代与多维注意力处理得到节点特征和多维边特征；基于图注意力网络的多维建模方法对所述节点特征和所述多维边特征进行交互融合得到最终的阅读眼动表征输出。本发明提出了一种结合了门控神经网络和边特征图注意力网络的多模态眼动表征方法，能够有效融合眼动特征和文本刺激信息，实现对眼动追踪数据的高效表征。