-
公开(公告)号:CN119068395A
公开(公告)日:2024-12-03
申请号:CN202411193321.8
申请日:2024-08-28
Applicant: 华中师范大学
IPC: G06V20/40 , G06V40/10 , G06V40/20 , G06F18/241 , G06F18/10 , G06V10/40 , G06V10/80 , G06V10/82 , G06N3/0455 , G06Q50/20 , G10L25/63
Abstract: 本申请实施例公开了一种基于三支路网络模型的学习注意力检测方法,涉及教学信息化技术领域,所述方法包括:每个学生的视频数据和脑电数据,处理得到每个学生对应的图像序列、语音序列和脑电序列;分别将每个学生对应的所述图像序列、所述语音序列以及所述脑电序列输入训练好的注意力识别模型中,输出每个学生的姿态估计结果、情绪识别结果、脑电信号分类结果,分别进行赋值生成学习注意力状态向量,输出对应学生的注意力信息。本申请通过对实时的视频数据以及脑电数据进行分析处理,能够为教师提供学生注意力的实时的反馈,使得教师可以根据反馈结果及时调整教学策略,与学生进行更有效的互动,从而提高教学质量和学习效果。
-
公开(公告)号:CN118939672A
公开(公告)日:2024-11-12
申请号:CN202411204618.X
申请日:2024-08-30
Applicant: 华中师范大学
IPC: G06F16/23 , G06F16/332 , G06F16/35 , G06F16/36 , G06N5/022 , G06F40/216 , G06F40/284 , G06F40/30 , G06N3/042 , G06N3/0464 , G06N3/045 , G06N5/04 , G06Q50/20
Abstract: 本申请实施例公开了一种基于大语言模型的高中化学知识库更新方法,涉及知识图谱技术领域,该方法包括:响应于输入的化学知识查询文本数据,生成对应的化学知识查询向量;在预设知识数据库中遍历与化学知识查询向量中的结构化数据相关联的知识点数据,生成提示文本;将提示文本输入大语言模型,以使大语言模型基于提示文本确定知识点类型,获取基于知识点类型遍历得到的化学知识查询文本数据相关的查询结果;更新预设知识数据库。本申请提供的所述方法,克服只通过数据库查询知识点数据导致的数据不全面、查询效率低的问题,同样也解决了大语言模型在缺乏准确的输入文本时输出有效的答案的效率较低的问题。
-
公开(公告)号:CN114840679B
公开(公告)日:2024-07-26
申请号:CN202210087035.8
申请日:2022-01-25
Applicant: 华中师范大学
IPC: G06F16/36 , G06N3/0464 , G06N3/0455 , G06N3/08 , G06N5/02 , G06N5/04 , G10L15/26
Abstract: 本发明公开了一种基于乐理知识图谱推理的机器人智能导学方法及应用。该方法包括:采集乐理学习者提问的语音信号并转换为文本数据;获取文本数据中的实体嵌入表示hi和关系嵌入表示si;将hi、si与乐理知识图谱的每个实体eu对应的特征向量tu构成候选三元组(hi,si,tu);将候选三元组输入到知识图谱推理模块,获得所有候选三元组的能量值,将能量值最优的候选三元组中的tu对应的eu输出。本发明通过解析问句的实体及其关系,并挖掘乐理知识图谱中实体和关系的深度语义交互,可以提高智能导学的精确性和扩展性。
-
公开(公告)号:CN117457030A
公开(公告)日:2024-01-26
申请号:CN202311108301.1
申请日:2023-08-30
Applicant: 华中师范大学
Abstract: 本申请公开了一种基于多源特征的语音情绪识别方法,包括:采集开源语音识别数据集和环境声音识别数据集,分别训练得到语音识别网络模型和环境声音识别网络模型,采集开源情绪语音数据集进行音频增强;对增强情绪语音音频提取MFCC特征,并输入膨胀因果交互子网络得到高阶MFCC特征;将增强情绪语音音频输入语音识别网络模型和环境声音识别网络模型得到高阶文本特征和高阶环境特征,再与高阶MFCC特征融合后输入时序分解因果卷积块生成高阶时序因果复合特征,通过全连接层输出至分类网络层识别语音情绪。其可以解决传统语音情绪识别技术仅基于语音的声学特征、依赖标准干净的语音信号导致语音情绪识别准确率较低,无法在复杂环境下准确识别语音情绪的问题。
-
公开(公告)号:CN117037035A
公开(公告)日:2023-11-10
申请号:CN202311030823.4
申请日:2023-08-15
Applicant: 华中师范大学
Abstract: 本申请公开了一种基于类人眼的学生数据智能采集方法及装置,该方法包括:获取部署在展馆内部不同展区的各摄像头所采集的参观人员的视频流,通过图像检测生成每个参观人员的检测框,形成待查询的检测框集合;使用训练好的特征提取模型从所述视频流中提取每个参观人员的外观特征、人体姿势特征和虚拟轨迹;基于所述外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配,生成人员轨迹匹配信息;根据所述人员轨迹匹配信息以及预先建立的展馆摄像头链路拓扑生成参观人员的活动数据,包括参观人员的身份信息和活动轨迹数据。本发明可以有效地对展馆参观人员进行识别和活动轨迹生成,同时可以克服光照变化和遮挡等问题。
-
公开(公告)号:CN113792627B
公开(公告)日:2023-11-07
申请号:CN202111002632.8
申请日:2021-08-30
Applicant: 华中师范大学
IPC: G06V40/16 , G06V10/82 , G06N3/0464 , G06N3/084 , G16H50/30
Abstract: 本发明公开了一种基于表情识别的风险学生预测方法,该方法包括以下步骤:1)将输入的学生人脸图像转为张量,将这些张量按比例分为训练集和测试集;2)训练基于表情识别风险学生的学习模型,构造分为消极表情和非消极表情的二维高斯软标签,将训练集张量输入基于标签分布的学习模型,利用预测标签和真实标签之间的KL‑loss来训练学习模型;3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别,将识别的结果存储到学生情绪库;4)根据学生的表情识别的结果分析学生的情绪状态,判断该学生是否为风险学生。本发明设计了新的学习模型并将表情分为积极表情和消极表情利用二维标签来进行表情识别,提升了识别准确性,可有效预测风险学生。
-
公开(公告)号:CN115118462B
公开(公告)日:2023-07-18
申请号:CN202210646887.6
申请日:2022-06-09
IPC: H04L9/40 , H04L41/16 , H04L67/141 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种基于卷积增强链的数据隐私保护方法,包括:获取各学习主体对应的学习数据,并根据所述学习主体建立对应的私有数据节点,将所述学习数据存入对应的所述私有数据节点;基于区块链网络的智能合约和共识协议在各所述私有数据节点之间建立安全网络连接,并互相通信实现自身状态更新;在各所述私有数据节点构建基于强化学习和安全计算的底层系统,与所述区块链网络一同形成卷积增强链,对所述学习数据进行隐私保护。其可以解决基于传统数据隐私保护机制保护后的数据可用性不高,用于进行模型训练效果较差或模型受到攻击后其内的数据将会全部泄露的问题。
-
公开(公告)号:CN116310238A
公开(公告)日:2023-06-23
申请号:CN202310257001.3
申请日:2023-03-16
Applicant: 华中师范大学
Abstract: 本发明属于元宇宙应用领域,提供一种多用户虚拟化身交互行为安全保护方法及系统,该方法包括:(1)对等网络模型搭建;(2)身份认证管理;(3)虚拟化身交互;(4)虚拟化身交互语义提取;(5)交互数据保护;(6)隐私设置;(7)交互脚本调用。本发明基于身份认证、交互语义提取、数据保护、因素设置的多用户虚拟化身交互行为安全保护方法及系统具有整体性、系统性、高效性的优点,为元宇宙中多用户虚拟化身交互行为提供一种智能化的数据保护方法。
-
公开(公告)号:CN114973411A
公开(公告)日:2022-08-30
申请号:CN202210604517.6
申请日:2022-05-31
IPC: G06V40/20 , G06V20/40 , G06V10/80 , G06V10/82 , A61B5/0205 , A61B5/113 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本申请公开了一种姿态类运动自适应评测方法、系统、设备及存储介质。该方法包括:采集待检测对象的视频序列和呼吸心跳回波信号,并对所述呼吸心跳回波信号进行预处理;将预处理后的所述呼吸心跳回波信号输入到训练后的第一网络模型,获得呼吸心跳特征;将所述视频序列输入到训练后的第二网络模型中,获得3D人体姿态特征;将所述呼吸心跳特征和所述3D人体姿态特征进行交互融合,获得融合交互特征,根据所述融合交互特征输出动作评分和呼吸状态预测结果;根据所述3D人体姿态特征预测3D人体姿态,计算预测的3D人体姿态与标准动作间的相似度。本发明通过结合待检测对象的动作和呼吸心跳来进行评测,有助于帮助提升运动教学训练的效率与质量。
-
公开(公告)号:CN114120443A
公开(公告)日:2022-03-01
申请号:CN202111359586.7
申请日:2021-11-17
Abstract: 本发明公开了基于3D人体姿态估计的课堂教学手势识别方法及系统。该方法包括步骤:S1,采集教学过程中教师和学生的红外视频流和RGB‑D视频流;S2,获取教师行为数据流、教师3D点云数据流、学生行为数据流和学生3D点云数据流;S3,将教师行为数据流和教师3D点云数据输入到教师识别模型中,获得教师手势骨架特征识别结果,将学生行为数据流和学生3D点云数据输入到学生识别模型中,获得学生头部姿态识别结果;S4,根据教师手势骨架特征识别结果和学生头部姿态识别结果确定教师教学手势。本发明可以从教学视频流中准确获取教师手势信息,从而为评价和提高教师非言语能力、引导学生注意力、高效控制电子屏幕等应用提供了技术基础。
-
-
-
-
-
-
-
-
-