-
公开(公告)号：CN116310238B
公开(公告)日：2024-03-22
申请号：CN202310257001.3
申请日：2023-03-16
Applicant: 华中师范大学
Abstract: 本发明属于元宇宙应用领域，提供一种多用户虚拟化身交互行为安全保护方法及系统，该方法包括：(1)对等网络模型搭建；(2)身份认证管理；(3)虚拟化身交互；(4)虚拟化身交互语义提取；(5)交互数据保护；(6)隐私设置；(7)交互脚本调用。本发明基于身份认证、交互语义提取、数据保护、因素设置的多用户虚拟化身交互行为安全保护方法及系统具有整体性、系统性、高效性的优点，为元宇宙中多用户虚拟化身交互行为提供一种智能化的数据保护方法。
-
公开(公告)号：CN117612244A
公开(公告)日：2024-02-27
申请号：CN202311122875.4
申请日：2023-08-30
Applicant: 华中师范大学
IPC: G06V40/20 , G06V10/82 , G06V10/764 , G06F18/20 , G06V10/20 , G06V10/40 , G06V10/30 , G06V10/77 , G06N3/0464 , G06N3/0455 , G06N3/08 , G06N3/0475 , G06N3/094
Abstract: 本申请涉及智能教学技术领域，尤其涉及一种教学互动方法、装置、设备及存储介质，所述方法包括：实时采集教师的第一图像信息、学生的第二图像信息和学生的心率数据；对第一图像序列、第二图像序列以及心率序列进行预处理；输入预训练的手势识别神经网络进行识别，输出教师的手势类型以及学生的手势类型；获取各个时刻学生的手势类型对应的心率变化率；响应于教师的手势类型、学生的手势类型以及对应的心率变化率发出第一提示信息和第二提示信息。采用本申请提供的所述方法，将学生的手势识别结果与心率数据进行关联分析，可以更准确的评估学生的学习状态，使得教师能够更好地了解学生的情感状态，及时调整教学策略，提供个性化指导和支持。
-
公开(公告)号：CN117591799A
公开(公告)日：2024-02-23
申请号：CN202311122713.0
申请日：2023-08-30
Applicant: 华中师范大学
IPC: G06F18/10 , G06F18/25 , G06Q10/0639 , G06Q50/20 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本申请公开了一种多模态自监督在线教学数据评测方法，包括：采集教师在线上教学的同一时间段中包括教学视频片段、音频信号以及文本资源的多模态数据；对多模态数据进行预处理，使其成为大小相同的令牌序列作为网络模型的原始信号；将预处理后的多模态数据馈送到网络模型中，获取待检测主体的多模态投影头，然后将其映射到不同的公共空间；分别对视频‑音频对和视频‑文本对计算目标损失，将两者目标损失融合得到整体样本目标，对教师的行为进行预测，得到教学质量预测结果。其可以解决传统教学评测中评测方法单一，存在误判、漏判，难以准确地反应教师线上教学质量的问题。
-
公开(公告)号：CN117152841A
公开(公告)日：2023-12-01
申请号：CN202311108274.8
申请日：2023-08-30
Applicant: 华中师范大学
IPC: G06V40/20 , G06V40/10 , G06F18/213 , G06F18/25 , G06F18/214 , G06N3/045
Abstract: 本申请实施例公开了一种基于双流滑动注意力网络的学生注意力评价方法，涉及智能教学技术领域，所述方法包括：获取授课时段内目标学生的图像信息和生理信号，将预处理后的数据输入训练好的模型识别得到头部姿态和生理指标；判断头部姿态类型，计算第一注意力评价指标；若第一注意力评价指标低于阈值，进一步基于头部姿态类型对应时间段内的生理指标，计算第二注意力评价指标；进一步计算注意力评价结果。本申请实施例通过同时采集目标学生的生理信号和图像信息，能基于头部姿态和生理指标自动、实时、准确的给出注意力的评价指标，能有效避免误判，有利于给出更准确的注意力评价结果，可以在网络授课场景下帮助教师更好地了解学生的学习状态。
-
公开(公告)号：CN116466816A
公开(公告)日：2023-07-21
申请号：CN202211596376.4
申请日：2022-12-12
Applicant: 华中师范大学
Abstract: 本申请公开了一种基于双相机多分支网络的虚拟现实教学手势识别方法，包括：获取待识别对象不同时刻手势变化的3D点云图像和深度图像；分别对3D点云图像、深度图像进行手部区域检测，从中分割出手部区域图像；将不同时刻的手部区域图像输入到训练好的手势识别模型中，生成待识别对象在不同时刻的手势识别结果；根据所述手势识别结果以及预设的标准手势与指令之间的映射关系，形成待识别对象在不同时刻的操作指令。本发明融合深度图像和3D点云图像两个模态的数据进行手部识别，两个模态的数据之间可以互补，具有更鲁棒的识别能力，能够提高识别精度；基于识别结果实现虚拟场景教学，可以使学生在课堂上更加专注于学习。
-
Patent Agency Ranking
公开(公告)号：CN116311572A
公开(公告)日：2023-06-23
申请号：CN202211596369.4
申请日：2022-12-12
Applicant: 华中师范大学
IPC: G07C1/10 , G06Q50/20 , G06V20/40 , G06V40/10 , G06V10/44 , G06V10/80 , G06V10/766 , G06V10/75 , G06V10/764 , G06N3/042 , G06N3/0464 , G06N3/045 , G06N3/048 , G06N3/084
Abstract: 本申请公开了一种基于人体姿态估计的动态课堂签到方法，包括：采集进入课堂的检测对象的侧向人体姿态视频序列，得到人体姿态RGB图像和深度图像；对人体姿态RGB图像进行关键点检测，得到人体关键点坐标并将其输入骨架提取网络中，获取人体骨架特征；将人体姿态深度图像输入轮廓提取网络中，获取人体姿态轮廓特征；融合人体骨架特征和轮廓特征，得到人体姿态多模态特征；在人体姿态特征库中搜索可与人体姿态多模态特征匹配的特征，如匹配成功，则确认检测对象的身份信息并生成签到信息。本发明使用多路径多模态融合思想进行人体姿态识别，具有更好地融合适应性，能够提高识别准确率。此外，本发明能够有效避免签到造假，并降低签到管理和维护成本。
-
公开(公告)号：CN115116117A
公开(公告)日：2022-09-27
申请号：CN202210845735.9
申请日：2022-07-19
IPC: G06V40/16 , G06V10/80 , G06V10/764 , G06V10/82 , G06V10/774 , G06V10/44 , G06F3/01 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多模态融合网络的学习投入度数据的获取方法，该方法将待监测学习主体的脸部图像、头部旋转图像和脑电信息同时用于学习投入度的评估中，采用新颖的多模态网络模型CGVNet提高了待监测学习主体的学习投入度数据监测的准确性。将获取的头部旋转角度特征向量、凝视方向特征向量以及脑电信息进行融合并分类，从而克服了传统学习投入度监测方法中监测维度单一的局限性，减少漏检、误检的问题，对学习质量的提高和辅助教学具有重要意义。
-
公开(公告)号：CN114299603A
公开(公告)日：2022-04-08
申请号：CN202111359560.2
申请日：2021-11-17
Abstract: 本发明公开了一种基于人体动作识别的风险行为监测方法及系统。该方法包括步骤：分别采集待识别对象的红外图像数据和结构光图像数据；将所述红外图像数据和所述结构光图像数据融合后输入到训练后的人体检测器，输出人体剪裁图像；将所述人体剪裁图像输入到训练后的人体动作识别模型，输出人体动作关键点信息；根据所述人体动作关键点信息判断是否存在风险行为。本发明可以实现不同模态的信息互补，提高干扰与复杂光照情况下的人体动作识别精准度，从而提高风险行为判断准确率，有助于预防和阻止危险行为的发生。
-
公开(公告)号：CN113792626A
公开(公告)日：2021-12-14
申请号：CN202111002386.6
申请日：2021-08-30
Applicant: 华中师范大学
Abstract: 本发明公开了一种基于教师非言语行为的教学过程评价方法，包括以下步骤：1)非言语行为数据采集，获取教学课堂中教师的非言语行为数据；2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；3)行为特征分类器训练：使用情绪标签训练分类器，得到相应教师类人格型特征表征、课堂非言语行为特征表征；4)根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。本发明通过情绪、身势、生理信号三种模态数据，建立全面、精准的教师课堂非言语行为的刻画，建立了基于教师非言语行为的教学过程的定量评价框架。
-
公开(公告)号：CN113723277A
公开(公告)日：2021-11-30
申请号：CN202110998162.9
申请日：2021-08-27
Applicant: 华中师范大学
Abstract: 本发明公开了一种融入多模态视觉信息的学习意图监测方法及系统。该方法包括步骤：分别采集学习者的红外图像数据和可见光图像数据；分别对所述红外图像数据和所述可见光图像数据进行预处理；将预处理后的所述红外图像数据和所述可见光图像数据输入到人脸检测器；将人脸检测器的输出数据输入到图像融合模型；将所述图像融合模块的输出数据输入到头部姿态识别模型，获取头部姿态识别数据，根据所述头部姿态识别数据判断学习者的学习意图。本发明可以实现不同模态的信息互补，提高光照变化或复杂背景下的头部姿态识别精准度，从而提高学习意图判断精准度。
-
-
-
-
-
-
-
-
-
Search Results
98
records
(took 0.029 seconds)
