基于视线估计的在线学习注意力跟踪方法及其应用

    公开(公告)号:CN114120432B

    公开(公告)日:2025-02-14

    申请号:CN202111361427.0

    申请日:2021-11-17

    Abstract: 本申请公开了一种基于视线估计的在线学习注意力跟踪方法及其应用,该方法包括:获取待检测对象的面部图像、眼睛图像和双眼红外图像,以及待检测对象所处学习环境的场景图像;场景图像中包含与待检测对象进行交互的学习设备的图像;将面部图像、眼睛图像和双眼红外图像输入视线估计识别模型中,获得相机坐标系下待检测对象双眼的三维注视方向;将相机坐标系下的三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点;根据二维注视点与场景图像中的学习区域的位置关系,生成待检测对象当前的注意力检测结果;本发明实现头部姿态以及两种眼部特征的互补,提高复杂背景下的视线估计的准确性,为提高学生线学习注意力提供客观支撑数据。

    一种基于教师非言语行为的教学过程评价方法

    公开(公告)号:CN113792626B

    公开(公告)日:2024-08-27

    申请号:CN202111002386.6

    申请日:2021-08-30

    Abstract: 本发明公开了一种基于教师非言语行为的教学过程评价方法,包括以下步骤:1)非言语行为数据采集,获取教学课堂中教师的非言语行为数据;2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化;3)行为特征分类器训练:使用情绪标签训练分类器,得到相应教师类人格型特征表征、课堂非言语行为特征表征;4)根据某一特定教师非言语行为采集数据,进行特征表征和特征分解,得到教师本身的特征表征和课堂行为特征表征,并将两者的特征向量相乘,得到教师的教学评价表示。本发明通过情绪、身势、生理信号三种模态数据,建立全面、精准的教师课堂非言语行为的刻画,建立了基于教师非言语行为的教学过程的定量评价框架。

    一种基于教师非言语行为的教学过程评价方法

    公开(公告)号:CN113792626A

    公开(公告)日:2021-12-14

    申请号:CN202111002386.6

    申请日:2021-08-30

    Abstract: 本发明公开了一种基于教师非言语行为的教学过程评价方法,包括以下步骤:1)非言语行为数据采集,获取教学课堂中教师的非言语行为数据;2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化;3)行为特征分类器训练:使用情绪标签训练分类器,得到相应教师类人格型特征表征、课堂非言语行为特征表征;4)根据某一特定教师非言语行为采集数据,进行特征表征和特征分解,得到教师本身的特征表征和课堂行为特征表征,并将两者的特征向量相乘,得到教师的教学评价表示。本发明通过情绪、身势、生理信号三种模态数据,建立全面、精准的教师课堂非言语行为的刻画,建立了基于教师非言语行为的教学过程的定量评价框架。

    一种融入多模态视觉信息的学习意图监测方法及系统

    公开(公告)号:CN113723277A

    公开(公告)日:2021-11-30

    申请号:CN202110998162.9

    申请日:2021-08-27

    Abstract: 本发明公开了一种融入多模态视觉信息的学习意图监测方法及系统。该方法包括步骤:分别采集学习者的红外图像数据和可见光图像数据;分别对所述红外图像数据和所述可见光图像数据进行预处理;将预处理后的所述红外图像数据和所述可见光图像数据输入到人脸检测器;将人脸检测器的输出数据输入到图像融合模型;将所述图像融合模块的输出数据输入到头部姿态识别模型,获取头部姿态识别数据,根据所述头部姿态识别数据判断学习者的学习意图。本发明可以实现不同模态的信息互补,提高光照变化或复杂背景下的头部姿态识别精准度,从而提高学习意图判断精准度。

    一种融入教学反馈与习得理解的知识图谱构建方法

    公开(公告)号:CN113807519B

    公开(公告)日:2024-08-20

    申请号:CN202111002385.1

    申请日:2021-08-30

    Abstract: 本发明公开了一种融入教学反馈与习得理解的知识图谱构建方法,该方法包括以下步骤:1)数据获取:将课堂学生行为转换为描述学生对当前知识的理解程度的文本;2)命名实体识别和关系抽取,对课堂文本数据同时做实体识别和关系抽取得到一个有关系的实体三元组;3)将实体和关系嵌入通过带权图卷积网络汇聚邻居节点的信息学习到实体和关系更加丰富的语意表示形成最终的实体嵌入表示;4)通过多尺度卷积神经网络对知识图谱三元组中的备选尾实体评分,选取评分最高尾实体作为推理结果,进一步推理出隐含的知识,对知识图谱进行更新;所述备选尾实体为步骤3)中所更新的所有实体。本发明能够构建每个学生特定的知识图谱,进行学习和教学评价反馈。

    一种基于异质交互行为的数字教育资源匹配方法及系统

    公开(公告)号:CN114461908B

    公开(公告)日:2024-06-21

    申请号:CN202210099175.7

    申请日:2022-01-27

    Abstract: 本发明公开了一种基于异质交互行为的数字教育资源匹配方法及系统。该方法包括步骤:获取数字教育资源数据,数字教育资源数据包含学习者对资源的偏好数据、资源属性数据、学习者对资源的评论数据,每个学习者有唯一的编号;根据偏好数据、资源属性数据构建异质图,对异质图进行特征提取获得每个资源的异质流特征向量,根据评论数据获取每个资源的文本特征向量;将同一个资源的异质流特征向量、文本特征向量进行拼接获得每个资源的特征向量;将待匹配的目标学习者编号及每个资源的特征向量输入到训练后的推荐模型中,输出被推荐的数字教育资源。本发明可以提升数字教育资源匹配的准确度,从而更好地提供个性化学习服务。

    一种基于学习成长数据的学习风格画像生成方法及系统

    公开(公告)号:CN113704610B

    公开(公告)日:2024-03-05

    申请号:CN202110994227.2

    申请日:2021-08-27

    Abstract: 本发明公开了一种基于学习成长数据的学习风格画像生成方法及系统。该方法包括步骤:收集学习成长数据,所述学习成长数据包括从多个数据源获取的用户属性数据和多维用户行为数据;将所述学习成长数据进行表征化处理,获得用户行为表征矩阵;将所述用户行为表征矩阵输入到预训练得到的用户特征提取模型中,所述用户特征提取模型基于神经网络,并用于输出用户行为特征向量矩阵;将所述用户行为特征向量矩阵与学习特征向量相乘,将相乘得到的矩阵作为用户学习风格画像。本发明可以利用多个数据源获取的多维用户行为数据,提升学习者画像的准确性和全面性,驱动教育决策科学化、学习方(56)对比文件Kun Liang.Online Behavior Analysis-Based Student Profile for Intelligent E-Learning.Journal of Electrical andComputer Engineering.2017,第2017卷1-8.彭利园.基于在线学习平台的资源画像及推荐研究方法——以云课堂为例.中国优秀硕士学位论文数据库 社会科学II辑.2021,(第002期),第4章第4.1节.师亚飞;彭红超;童名文.基于学习画像的精准个性化学习路径生成性推荐策略研究.中国电化教育.2019,(05),全文.

    一种基于学习成长数据的学习风格画像生成方法及系统

    公开(公告)号:CN113704610A

    公开(公告)日:2021-11-26

    申请号:CN202110994227.2

    申请日:2021-08-27

    Abstract: 本发明公开了一种基于学习成长数据的学习风格画像生成方法及系统。该方法包括步骤:收集学习成长数据,所述学习成长数据包括从多个数据源获取的用户属性数据和多维用户行为数据;将所述学习成长数据进行表征化处理,获得用户行为表征矩阵;将所述用户行为表征矩阵输入到预训练得到的用户特征提取模型中,所述用户特征提取模型基于神经网络,并用于输出用户行为特征向量矩阵;将所述用户行为特征向量矩阵与学习特征向量相乘,将相乘得到的矩阵作为用户学习风格画像。本发明可以利用多个数据源获取的多维用户行为数据,提升学习者画像的准确性和全面性,驱动教育决策科学化、学习方式个性化、教学管理人性化和评价体系全面化。

    一种基于异质交互行为的数字教育资源匹配方法及系统

    公开(公告)号:CN114461908A

    公开(公告)日:2022-05-10

    申请号:CN202210099175.7

    申请日:2022-01-27

    Abstract: 本发明公开了一种基于异质交互行为的数字教育资源匹配方法及系统。该方法包括步骤:获取数字教育资源数据,数字教育资源数据包含学习者对资源的偏好数据、资源属性数据、学习者对资源的评论数据,每个学习者有唯一的编号;根据偏好数据、资源属性数据构建异质图,对异质图进行特征提取获得每个资源的异质流特征向量,根据评论数据获取每个资源的文本特征向量;将同一个资源的异质流特征向量、文本特征向量进行拼接获得每个资源的特征向量;将待匹配的目标学习者编号及每个资源的特征向量输入到训练后的推荐模型中,输出被推荐的数字教育资源。本发明可以提升数字教育资源匹配的准确度,从而更好地提供个性化学习服务。

    基于视线估计的在线学习注意力跟踪方法及其应用

    公开(公告)号:CN114120432A

    公开(公告)日:2022-03-01

    申请号:CN202111361427.0

    申请日:2021-11-17

    Abstract: 本申请公开了一种基于视线估计的在线学习注意力跟踪方法及其应用,该方法包括:获取待检测对象的面部图像、眼睛图像和双眼红外图像,以及待检测对象所处学习环境的场景图像;场景图像中包含与待检测对象进行交互的学习设备的图像;将面部图像、眼睛图像和双眼红外图像输入视线估计识别模型中,获得相机坐标系下待检测对象双眼的三维注视方向;将相机坐标系下的三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点;根据二维注视点与场景图像中的学习区域的位置关系,生成待检测对象当前的注意力检测结果;本发明实现头部姿态以及两种眼部特征的互补,提高复杂背景下的视线估计的准确性,为提高学生线学习注意力提供客观支撑数据。

Patent Agency Ranking