公开(公告)号：CN119357900B

公开(公告)日：2025-05-13

申请号：CN202411507526.9

申请日：2024-10-28

Applicant: 北京邮电大学

Inventor： 应霜霜 ,  何召锋 ,  张栋森 ,  茹一伟 ,  项刘宇 ,  吴惠甲 ,  黄际政

IPC: G06F18/25 ,  G06F18/10 ,  G06N3/042 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了一种基于图神经网络的多模态阅读眼动表征方法，属于智能学习领域，该方法包括以下步骤：获取被试眼动数据，对所述被试眼动数据进行预处理得到预处理眼动数据；将所述预处理眼动数据转化为拓扑结构图；对所述拓扑结构图进行迭代与多维注意力处理得到节点特征和多维边特征；基于图注意力网络的多维建模方法对所述节点特征和所述多维边特征进行交互融合得到最终的阅读眼动表征输出。本发明提出了一种结合了门控神经网络和边特征图注意力网络的多模态眼动表征方法，能够有效融合眼动特征和文本刺激信息，实现对眼动追踪数据的高效表征。

公开(公告)号：CN118038164A

公开(公告)日：2024-05-14

申请号：CN202410215888.4

申请日：2024-02-27

Applicant: 北京邮电大学

Inventor： 余初然 ,  何召锋 ,  茹一伟 ,  吴惠甲 ,  杨胡江

IPC: G06V10/764 ,  G06V10/82 ,  G06V40/18 ,  G06T3/4038 ,  G16H20/70

Abstract: 本公开提供了一种基于摄像装置的眼动视频放大的人格评估方法及系统，属于人格评估技术领域，该方法包括：将第一眼部视频输入至预训练放大网络中进行眼部动作放大，得到第二眼部视频；第一眼部视频为目标用户阅读材料时的眼部动作视频；提取第二眼部视频中的眼动特征，得到多张眼球随时间横向运动的特征图片；将特征图片输入至人格分类网络中，以得到目标用户的人格评估结果。本公开提供的基于摄像装置的眼动视频放大的人格评估方法及系统能够减少人格评估过程中的误差，使人格评估的方式更加简单、便捷，使人格评估的结果更加准确。

公开(公告)号：CN119888818A

公开(公告)日：2025-04-25

申请号：CN202411967118.1

申请日：2024-12-30

Applicant: 北京邮电大学

Inventor： 余初然 ,  何召锋 ,  茹一伟 ,  吴惠甲 ,  杨胡江

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06V10/44 ,  G06V10/54

Abstract: 本公开提供了一种基于人体微动作的情绪识别方法及系统，属于微动作识别技术领域，该方法包括：基于识别目标的目标视频特征、目标骨架特征和目标幅度特征进行特征融合，得到识别目标的综合特征；基于综合特征得到识别目标的微动作特征；基于微动作特征进行分类，对识别目标进行情绪识别。本公开提供的基于人体微动作的情绪识别方法及系统能够提高微动作识别的准确性。

公开(公告)号：CN119357900A

公开(公告)日：2025-01-24

申请号：CN202411507526.9

申请日：2024-10-28

Applicant: 北京邮电大学

Inventor： 应霜霜 ,  何召锋 ,  张栋森 ,  茹一伟 ,  项刘宇 ,  吴惠甲 ,  黄际政

IPC: G06F18/25 ,  G06F18/10 ,  G06N3/042 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了一种基于图神经网络的多模态阅读眼动表征方法，属于智能学习领域，该方法包括以下步骤：获取被试眼动数据，对所述被试眼动数据进行预处理得到预处理眼动数据；将所述预处理眼动数据转化为拓扑结构图；对所述拓扑结构图进行迭代与多维注意力处理得到节点特征和多维边特征；基于图注意力网络的多维建模方法对所述节点特征和所述多维边特征进行交互融合得到最终的阅读眼动表征输出。本发明提出了一种结合了门控神经网络和边特征图注意力网络的多模态眼动表征方法，能够有效融合眼动特征和文本刺激信息，实现对眼动追踪数据的高效表征。