学生表情识别方法及教学状态评估方法及相关设备

    公开(公告)号:CN115457619A

    公开(公告)日:2022-12-09

    申请号:CN202210895264.2

    申请日:2022-07-26

    摘要: 本申请提供一种学生表情识别方法及教学状态评估方法及相关设备。通过预先训练的学生表情识别模型提取课堂教学视频中人脸图像上多个视角的表情特征;然后计算提取的多个视角的表情特征对应的权重,再融合计算得到的权重和对应的表情特征,得到全局表情特征;最后,根据全局表情特征得到学生表情分类结果。此外,在学生表情识别方法的基础上,通过融合课堂性质、学生表情识别结果和学生行为识别结果综合进行课堂教学状态评估值的计算。最后根据综合评估值判定学生课堂听课状态。本申请能够充分提取学生表情特征,提高姿势偏移场景下学生表情识别能力,还能够客观准确地对课堂教学视频中的教学状态进行评估。

    课堂学生表情识别及课堂状态评估方法、装置

    公开(公告)号:CN113239914B

    公开(公告)日:2022-02-25

    申请号:CN202110787828.6

    申请日:2021-07-13

    发明人: 梁美玉 于婉莹

    摘要: 本公开提供一种课堂学生表情识别方法,通过多路自注意力机制的深度卷积神经网络的各个支路分别获得学生表情图像的局部特征、遮挡特征及整体特征,然后基于所述多路自注意力机制的深度卷积神经网络的自适应权重分配层,分别计算所述局部特征、所述遮挡特征和所述整体特征的各自的权重;将所述局部特征、所述遮挡特征和所述整体特征,分别与所述各自的权重相乘后合并,得到所述学生表情图像的全局表情特征;最后,基于所述全局表情特征对课堂学生表情进行识别,从而有效分类复杂课堂场景下的学生表情,提高了遮挡情况下学生课堂表情识别的准确性。

    课堂学生表情识别及课堂状态评估方法、装置

    公开(公告)号:CN113239914A

    公开(公告)日:2021-08-10

    申请号:CN202110787828.6

    申请日:2021-07-13

    发明人: 梁美玉 于婉莹

    摘要: 本公开提供一种课堂学生表情识别方法,通过多路自注意力机制的深度卷积神经网络的各个支路分别获得学生表情图像的局部特征、遮挡特征及整体特征,然后基于所述多路自注意力机制的深度卷积神经网络的自适应权重分配层,分别计算所述局部特征、所述遮挡特征和所述整体特征的各自的权重;将所述局部特征、所述遮挡特征和所述整体特征,分别与所述各自的权重相乘后合并,得到所述学生表情图像的全局表情特征;最后,基于所述全局表情特征对课堂学生表情进行识别,从而有效分类复杂课堂场景下的学生表情,提高了遮挡情况下学生课堂表情识别的准确性。

    一种教学状态评估方法、装置及电子设备

    公开(公告)号:CN112308746A

    公开(公告)日:2021-02-02

    申请号:CN202011042357.8

    申请日:2020-09-28

    摘要: 本说明书一个或多个实施例提供一种教学状态评估方法、装置及电子设备,通过多尺度卷积残差神经网络确定检测对象,在行为识别方面,通过深度可分离卷积神经网络提取检测对象行为特征,通过逻辑回归算法确定检测对象当前行为;在表情识别方面,通过深度可分离卷积神经网络确定检测对象表情特征,通过注意力机制优化检测对象表情特征,通过softmax分类器确定检测对象当前表情。本公开通过上述机制,提高了识别速度且提高了识别率。