公开(公告)号：CN116523710A

公开(公告)日：2023-08-01

申请号：CN202310501220.1

申请日：2023-04-27

Applicant: 华中师范大学

Inventor： 戴志诚 ,  刘三女牙 ,  杨宗凯 ,  王富超 ,  赵亮 ,  朱晓亮 ,  王春冉

IPC: G06Q50/20 ,  G06V10/764 ,  G06V40/16 ,  G06V40/18 ,  G06V10/80

Abstract: 本发明提供了一种基于头部姿态和视线的课堂学习者状态分析方法及系统，包括：将学习者的各帧面部图像输入至头部姿态估计模型，获得各帧面部图像对应的头部姿态特征；将各帧面部图像输入至基于混合注意力机制的眼部特征提取模型，获得各帧面部图像对应的眼部特征；将头部姿态特征与眼部特征进行融合，获得各帧面部图像对应的视线方向；基于各帧面部图像对应的视线方向所在直线与教学内容展示区域所在平面的交点，确定各帧面部图像对应的注视点的坐标，结合各注视点与教学内容展示区域之间的相对位置关系，确定注视点的偏离率；基于头部姿态特征，以及注视点的偏离率，确定学习者的学习状态，提高了课堂学习者状态分析的效率、客观性和准确性。