公开(公告)号：CN116127350A

公开(公告)日：2023-05-16

申请号：CN202211596338.9

申请日：2022-12-12

Applicant: 华中师范大学

Inventor： 刘海 ,  张诚 ,  刘婷婷 ,  张昭理 ,  朱晓倩 ,  宋林森 ,  林丹月 ,  王镜淇

IPC: G06F18/24 ,  G06V40/20 ,  G06V10/42 ,  G06F18/214 ,  G06F18/25

Abstract: 本申请公开了一种基于Transformer网络的学习专注度监测方法，包括：获取被监测对象在监测时间段内的头部姿态RGB图像、环境声音数据以及皮电信号，将监测时间段按照时序划分为多个时域片段；将每个时域片段中对应的头部姿态RGB图像、环境声音数据以及皮电信号输入多模态信息分类模型中，得到头部姿态角度、环境音类别和情绪状态类别并按照预设权重进行加权求和，获得每个时域片段的情绪专注度得分；将各时域片段的情绪专注度得分按照预设规则进行融合，得到被监测对象在监测时间段中的专注度估计结果。本发明引入互补的多模态数据及时域信息，可以做到全方位、全过程的学生学习情绪专注度评价，帮助分析影响学习者的学习情绪专注度的因素与个体差异。

公开(公告)号：CN116466816A

公开(公告)日：2023-07-21

申请号：CN202211596376.4

申请日：2022-12-12

Applicant: 华中师范大学

Inventor： 刘海 ,  宋林森 ,  刘婷婷 ,  张昭理 ,  林丹月 ,  王镜淇 ,  张诚 ,  朱晓倩

IPC: G06F3/01 ,  G06V40/20 ,  G06V10/42 ,  G06V10/80 ,  G06T7/11 ,  G06N3/0464

Abstract: 本申请公开了一种基于双相机多分支网络的虚拟现实教学手势识别方法，包括：获取待识别对象不同时刻手势变化的3D点云图像和深度图像；分别对3D点云图像、深度图像进行手部区域检测，从中分割出手部区域图像；将不同时刻的手部区域图像输入到训练好的手势识别模型中，生成待识别对象在不同时刻的手势识别结果；根据所述手势识别结果以及预设的标准手势与指令之间的映射关系，形成待识别对象在不同时刻的操作指令。本发明融合深度图像和3D点云图像两个模态的数据进行手部识别，两个模态的数据之间可以互补，具有更鲁棒的识别能力，能够提高识别精度；基于识别结果实现虚拟场景教学，可以使学生在课堂上更加专注于学习。

公开(公告)号：CN116311572A

公开(公告)日：2023-06-23

申请号：CN202211596369.4

申请日：2022-12-12

Applicant: 华中师范大学

Inventor： 刘海 ,  王镜淇 ,  刘婷婷 ,  张昭理 ,  张诚 ,  朱晓倩 ,  宋林森 ,  林丹月

IPC: G07C1/10 ,  G06Q50/20 ,  G06V20/40 ,  G06V40/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/766 ,  G06V10/75 ,  G06V10/764 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/084

Abstract: 本申请公开了一种基于人体姿态估计的动态课堂签到方法，包括：采集进入课堂的检测对象的侧向人体姿态视频序列，得到人体姿态RGB图像和深度图像；对人体姿态RGB图像进行关键点检测，得到人体关键点坐标并将其输入骨架提取网络中，获取人体骨架特征；将人体姿态深度图像输入轮廓提取网络中，获取人体姿态轮廓特征；融合人体骨架特征和轮廓特征，得到人体姿态多模态特征；在人体姿态特征库中搜索可与人体姿态多模态特征匹配的特征，如匹配成功，则确认检测对象的身份信息并生成签到信息。本发明使用多路径多模态融合思想进行人体姿态识别，具有更好地融合适应性，能够提高识别准确率。此外，本发明能够有效避免签到造假，并降低签到管理和维护成本。

公开(公告)号：CN116172556A

公开(公告)日：2023-05-30

申请号：CN202211596365.6

申请日：2022-12-12

Applicant: 华中师范大学

Inventor： 刘海 ,  朱晓倩 ,  刘婷婷 ,  张昭理 ,  宋林森 ,  林丹月 ,  王镜淇 ,  张诚

IPC: A61B5/16 ,  A61B5/00 ,  A61B5/0205 ,  A61B5/11 ,  G06V40/16 ,  G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/084

Abstract: 本申请公开了一种基于特征交互学习网络的学生心理状态检测方法，其包括：获取受试对象在观看多种具有单一情绪特征的测试视频时的面部表情视频数据和心率数据；对面部表情视频数据和心率数据进行特征提取，获得受试对象的面部表情情绪特征及心率特征；将面部表情情绪特征与心率特征进行融合，并基于融合结果进行情绪识别，分别得到每种样本视频对应的情绪类别；将每种测试视频对应的情绪特征标签与其情绪类别进行比对，结合各测试视频的比对结果以及预设的阈值条件生成受试对象的情绪检测结果。本发明将面部表情与心率信号融合进行情绪识别，提高了情绪识别与分类的准确性，为高校学生心理健康状态预判及情绪管理与干预治疗提供了科学依据与支撑。

公开(公告)号：CN115937946A

公开(公告)日：2023-04-07

申请号：CN202211596371.1

申请日：2022-12-12

Applicant: 华中师范大学

Inventor： 刘海 ,  林丹月 ,  刘婷婷 ,  张昭理 ,  王镜淇 ,  张诚 ,  朱晓倩 ,  宋林森

IPC: G06V40/16 ,  G06V10/44 ,  G06V10/82 ,  G06V40/18 ,  G06F18/25 ,  G06F18/10 ,  G06F18/2415 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  A61B5/369 ,  A61B5/00

Abstract: 本申请公开了一种基于多模态数据融合的在线学习状态检测方法，该方法包括：获取待检测对象的面部图像及脑电信号；将面部图像信息及脑电信号输入训练好的多模态融合模型中，提取待检测对象当前的视线方向及脑电情绪状态；所述多模态融合模型包括第一网络模型和第二网络模型，第一网络模型为利用具有视线方向标签的多幅面部图像样本训练得到，第二网络模型为利用具有脑电情绪标签的多个脑电波样本训练得到；基于视线方向和脑电情绪状态生成待检测对象当前的学习状态数据。本发明实现视线信息与脑电信号的互补，实时检测学习者的在线学习状态，为下一步的学习指导提供客观支撑数据，有助于合理规划学习内容，提升学习效率，实现良性循环。