-
公开(公告)号:CN114120432B
公开(公告)日:2025-02-14
申请号:CN202111361427.0
申请日:2021-11-17
Abstract: 本申请公开了一种基于视线估计的在线学习注意力跟踪方法及其应用,该方法包括:获取待检测对象的面部图像、眼睛图像和双眼红外图像,以及待检测对象所处学习环境的场景图像;场景图像中包含与待检测对象进行交互的学习设备的图像;将面部图像、眼睛图像和双眼红外图像输入视线估计识别模型中,获得相机坐标系下待检测对象双眼的三维注视方向;将相机坐标系下的三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点;根据二维注视点与场景图像中的学习区域的位置关系,生成待检测对象当前的注意力检测结果;本发明实现头部姿态以及两种眼部特征的互补,提高复杂背景下的视线估计的准确性,为提高学生线学习注意力提供客观支撑数据。
-
公开(公告)号:CN117612244A
公开(公告)日:2024-02-27
申请号:CN202311122875.4
申请日:2023-08-30
Applicant: 华中师范大学
IPC: G06V40/20 , G06V10/82 , G06V10/764 , G06F18/20 , G06V10/20 , G06V10/40 , G06V10/30 , G06V10/77 , G06N3/0464 , G06N3/0455 , G06N3/08 , G06N3/0475 , G06N3/094
Abstract: 本申请涉及智能教学技术领域,尤其涉及一种教学互动方法、装置、设备及存储介质,所述方法包括:实时采集教师的第一图像信息、学生的第二图像信息和学生的心率数据;对第一图像序列、第二图像序列以及心率序列进行预处理;输入预训练的手势识别神经网络进行识别,输出教师的手势类型以及学生的手势类型;获取各个时刻学生的手势类型对应的心率变化率;响应于教师的手势类型、学生的手势类型以及对应的心率变化率发出第一提示信息和第二提示信息。采用本申请提供的所述方法,将学生的手势识别结果与心率数据进行关联分析,可以更准确的评估学生的学习状态,使得教师能够更好地了解学生的情感状态,及时调整教学策略,提供个性化指导和支持。
-
公开(公告)号:CN117591799A
公开(公告)日:2024-02-23
申请号:CN202311122713.0
申请日:2023-08-30
Applicant: 华中师范大学
IPC: G06F18/10 , G06F18/25 , G06Q10/0639 , G06Q50/20 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本申请公开了一种多模态自监督在线教学数据评测方法,包括:采集教师在线上教学的同一时间段中包括教学视频片段、音频信号以及文本资源的多模态数据;对多模态数据进行预处理,使其成为大小相同的令牌序列作为网络模型的原始信号;将预处理后的多模态数据馈送到网络模型中,获取待检测主体的多模态投影头,然后将其映射到不同的公共空间;分别对视频‑音频对和视频‑文本对计算目标损失,将两者目标损失融合得到整体样本目标,对教师的行为进行预测,得到教学质量预测结果。其可以解决传统教学评测中评测方法单一,存在误判、漏判,难以准确地反应教师线上教学质量的问题。
-
公开(公告)号:CN117152841A
公开(公告)日:2023-12-01
申请号:CN202311108274.8
申请日:2023-08-30
Applicant: 华中师范大学
IPC: G06V40/20 , G06V40/10 , G06F18/213 , G06F18/25 , G06F18/214 , G06N3/045
Abstract: 本申请实施例公开了一种基于双流滑动注意力网络的学生注意力评价方法,涉及智能教学技术领域,所述方法包括:获取授课时段内目标学生的图像信息和生理信号,将预处理后的数据输入训练好的模型识别得到头部姿态和生理指标;判断头部姿态类型,计算第一注意力评价指标;若第一注意力评价指标低于阈值,进一步基于头部姿态类型对应时间段内的生理指标,计算第二注意力评价指标;进一步计算注意力评价结果。本申请实施例通过同时采集目标学生的生理信号和图像信息,能基于头部姿态和生理指标自动、实时、准确的给出注意力的评价指标,能有效避免误判,有利于给出更准确的注意力评价结果,可以在网络授课场景下帮助教师更好地了解学生的学习状态。
-
公开(公告)号:CN114299603A
公开(公告)日:2022-04-08
申请号:CN202111359560.2
申请日:2021-11-17
Abstract: 本发明公开了一种基于人体动作识别的风险行为监测方法及系统。该方法包括步骤:分别采集待识别对象的红外图像数据和结构光图像数据;将所述红外图像数据和所述结构光图像数据融合后输入到训练后的人体检测器,输出人体剪裁图像;将所述人体剪裁图像输入到训练后的人体动作识别模型,输出人体动作关键点信息;根据所述人体动作关键点信息判断是否存在风险行为。本发明可以实现不同模态的信息互补,提高干扰与复杂光照情况下的人体动作识别精准度,从而提高风险行为判断准确率,有助于预防和阻止危险行为的发生。
-
公开(公告)号:CN119169501A
公开(公告)日:2024-12-20
申请号:CN202411196553.9
申请日:2024-08-29
Applicant: 华中师范大学
IPC: G06V20/40 , G06V40/16 , G06V40/20 , G06V10/82 , G06N3/0455
Abstract: 本申请实施例公开了一种基于跨模态表征学习的学习状态检测方法,涉及教学信息化技术领域,该方法包括:获取RGB摄像头采集的第一视频信息以及动态视觉摄像头采集的第二视频信息,分别处理得到第一图像序列和第二图像序列,将第一图像序列和第二图像序列输入训练好的学习状态检测网络模型中,分别识别得到目标学习小组中每个学习者的面部表情识别结果和学习行为识别结果,确定目标学习小组中每个学习者的对应时刻的学习状态检测结果。采用本申请提供的方法,以每个学习者的面部情感识别结果和学习行为识别结果为基础估计得到学习小组的整体学习,能够对学习者的集体学习效果进行精准评估,有利于教师实时了解每个学习小组的实时学习状态。
-
公开(公告)号:CN119068551A
公开(公告)日:2024-12-03
申请号:CN202411191226.4
申请日:2024-08-28
Applicant: 华中师范大学
IPC: G06V40/20 , G06V10/74 , G06V10/20 , G06V10/44 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本申请实施例公开了一种基于骨架结构表示学习的广播体操动作评测方法,涉及计算机视觉技术领域,该方法包括:获取学习者进行广播体操运动的图像序列;将图像序列输入训练好的二维人体姿态识别模型中,获取图像序列对应的二维人体姿态序列;将二维人体姿态序列输入训练好的三维人体姿态识别模型中,获取三维人体姿态序列;将三维人体姿态序列与标准动作模型进行比对,输出比对结果。采用本申请提供的所述方法,通过学习者的广播体操动作视频分析得到二维和三维人体姿态估计,从而可以捕捉学习者的动作细节,并与预设的标准广播体操动作模型进行对比,可以根据比较结果确定学习者需要改进的具体区域,从而有利于学习者提高训练效率和质量。
-
公开(公告)号:CN119066450A
公开(公告)日:2024-12-03
申请号:CN202411191786.X
申请日:2024-08-28
Applicant: 华中师范大学
IPC: G06F18/23 , G06F18/213 , G06F18/24 , G06Q50/20
Abstract: 本申请实施例公开了一种基于对偶路径矩阵分解的知识追踪方法,涉及知识追踪技术领域,所述方法包括:获取每个学生的学习记录数据,输入到训练好的知识追踪模型中进行特征提取,输出学习行为数据;将学习行为数据以及学习记录数据输入聚类模型中进行聚类分析,根据聚类结果输出每个聚类中心对应的知识追踪结果标签;分别对知识追踪结果标签对应的学习记录数据进行分析,输出学习数据分析结果,反馈学习指导信息至对应的学生。本申请提供的方法有利于教师更明确的了解每个学生的学习状态,并根据学生的实际学习状态对教学方案作出调整,也可以提示每个学习者了解自身学习的不足之处,使得学习者可以根据实际学习情况更好的规划学习计划。
-
公开(公告)号:CN117033559A
公开(公告)日:2023-11-10
申请号:CN202311130601.X
申请日:2023-08-31
Applicant: 华中师范大学
IPC: G06F16/33 , G06N3/0442 , G06N3/0464 , G06N3/08 , G06Q50/20
Abstract: 本发明公开了一种基于跨领域的自适应习题适配方法,包括:分别获取学生在线学习系统中的至少两门不同学科的学习数据,其中一门作为源数据域,另一门作为目标数据域;选择所述源数据域中与所述目标数据域中相似的问题文本;根据选择出的所述源数据域中的问题文本和所述目标数据域中的问题文本构建知识状态评估模型;根据所述知识状态评估模型评估对应学生的知识状态,并根据所述知识状态获取对应的适配习题;根据所述适配习题得到的练习结果重复以上过程再次评估所述知识状态,以实现自适应学习的个性化习题适配。其可以基于少量学习数据准确获取学生知识状态,并根据学生的知识状态实现智能化习题适配,以提高学生学习和老师教学的效率。
-
公开(公告)号:CN114332911A
公开(公告)日:2022-04-12
申请号:CN202111384358.5
申请日:2021-11-18
Abstract: 本申请公开了一种头部姿态检测方法、装置及计算机设备,该方法包括获取待检测对象活动过程中的事件时序信号和RGB视频数据;分别从事件时序信号和RGB视频数据中筛选出待检测对象的头部姿态变化时刻的事件数据流和关键RGB视频流并进行分帧处理,得到事件图像序列以及关键RGB图像序列;将事件图像序列以及关键RGB图像序列输出训练好的融合模型中,分别提取出事件模态特征和图像模态特征并进行融合,得到待检测对象的头部姿态特征图像;根据头部姿态特征图像预测待检测对象的头部姿态角度;本发明利用可见光‑事件双模态图像进行头部姿态估计,能有效筛选捕捉头部姿态变化时刻,在光照情况不理想、存在部分遮挡等情况下也可以做到准确估计。
-
-
-
-
-
-
-
-
-