-
公开(公告)号:CN119153090A
公开(公告)日:2024-12-17
申请号:CN202411198005.X
申请日:2024-08-29
Applicant: 华中师范大学
IPC: G16H50/30 , G06V20/40 , G06V10/80 , G06V10/44 , G06N3/0464
Abstract: 本申请实施例公开了一种基于扩散模型的跨层多粒度自闭症风险评估方法,涉及计算机技术领域,所述方法包括:获取教学场景内待评估目标的视频数据,并基于视频数据处理得到图像序列,将图像序列输入训练好的扩散模型中,通过训练好的扩散模型确定每一帧图像中每个所述待评估目标的头部注视目标区域;基于每一帧图像的头部注视目标区域确定注视目标类别,计算得到对应的时段范围内的自闭症风险评估参数。本申请可以根据自闭症风险评估参数判断每个待评估目标可能存在自闭症的风险,能够客观、准确的预测目标患有自闭症的风险程度,利于相关人员提前采取预防措施,不仅可以降低风险评估的成本,同时也可以保证风险评估的准确度和效率。
-
公开(公告)号:CN115132223B
公开(公告)日:2024-11-26
申请号:CN202210748518.8
申请日:2022-06-29
IPC: G10L25/18 , G10L25/30 , G06F18/241 , G06N3/0464 , G06N3/08 , G10L25/45 , G10L25/63
Abstract: 本发明公开了一种基于时频增强的音频数据标注精度增强方法,该方法包括:数据采集流程,对教师的教学音频进行采集,再将教学音频中的原始信号通过线性声谱图的过渡量转化为梅尔声谱图;数据增强流程,使用VoiceAugment音频数据增强算法对输入的需要标注的教学音频进行数据增强,增强技术由频率信道掩蔽块和时间帧掩蔽块组成,增强了教学音频的特征属性;自动标注流程,使用ANNA模型对教学音频实现自动标注,ANNA模型由波谱图特征获取、声谱图特征获取、特征融合和情感标注等模块组成。本发明实现了教师教学情感的自动标注,提高了教学音频的标注速度和标注精度,克服了因人力标注所致的耗时费力等缺陷,为教师课堂的情感预测等服务提供了较为准确的数据标签。
-
公开(公告)号:CN117131933A
公开(公告)日:2023-11-28
申请号:CN202311119806.8
申请日:2023-08-31
Applicant: 华中师范大学
IPC: G06N5/022 , G06N5/04 , G06N3/0464 , G06N3/0455 , G06N3/047 , G06N3/048 , G06N3/042 , G06N3/0442 , G06N3/08 , G06F18/2415 , G06F18/25 , G06F16/36 , G06F16/45 , G06F16/483
Abstract: 本申请公开了一种多模态知识图谱建立方法,包括:采集多门学科的开源文本知识图谱和目标文本知识图谱并提取结构特征、视觉特征和文本特征;将所述开源文本知识图谱与目标文本知识图谱融合并处理不一致信息,得到多模态知识图谱;采集学习者的交互信息并抽取实体和关系,得到交互信息的头实体嵌入表示、尾实体嵌入表示和关系嵌入表示,以将交互信息转换为三元组形式;构建目标知识的预训练语言模型学习多模态知识图谱,并对输入的三元组形式的交互信息给出反馈信息。其可以解决传统基于单一的学科知识构建学科知识图谱的方式跨学科学习效果差,导致利用学科知识图谱进行知识信息检索、智能问答的学习过程效率低下的问题。
-
公开(公告)号:CN116311423A
公开(公告)日:2023-06-23
申请号:CN202310104197.2
申请日:2023-02-07
IPC: G06V40/16 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , A61B5/16 , A61B5/389 , A61B5/00 , G10L25/63
Abstract: 本发明涉及计算机视觉技术领域,尤其涉及一种基于交叉注意力机制的多模态情感识别方法,所述方法包括:采集用户同一时刻的面部表情图像、语音信号以及面部肌电信号;分别对各路信号进行预处理;将预处理后信号分别输入训练好的情感识别模型中以获取单模态情感识别结果;对识别得到的面部表情类型、语音情感类型和肌电情感类型进行加权求和,输出融合特征后的多模态融合情感类型。本发明通过将面部表情图像、语音信号、面部肌电信号同时用于多模态情感识别中,将外显行为与内隐状态结合,能够真实反映咨询者心理情感状态,克服了传统检测方法维度单一、主观性强的局限性,对在线心理咨询质量的提高和在线心理咨询辅助具有重要意义。
-
公开(公告)号:CN115937946A
公开(公告)日:2023-04-07
申请号:CN202211596371.1
申请日:2022-12-12
Applicant: 华中师范大学
IPC: G06V40/16 , G06V10/44 , G06V10/82 , G06V40/18 , G06F18/25 , G06F18/10 , G06F18/2415 , G06N3/0475 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/084 , A61B5/369 , A61B5/00
Abstract: 本申请公开了一种基于多模态数据融合的在线学习状态检测方法,该方法包括:获取待检测对象的面部图像及脑电信号;将面部图像信息及脑电信号输入训练好的多模态融合模型中,提取待检测对象当前的视线方向及脑电情绪状态;所述多模态融合模型包括第一网络模型和第二网络模型,第一网络模型为利用具有视线方向标签的多幅面部图像样本训练得到,第二网络模型为利用具有脑电情绪标签的多个脑电波样本训练得到;基于视线方向和脑电情绪状态生成待检测对象当前的学习状态数据。本发明实现视线信息与脑电信号的互补,实时检测学习者的在线学习状态,为下一步的学习指导提供客观支撑数据,有助于合理规划学习内容,提升学习效率,实现良性循环。
-
公开(公告)号:CN114840679A
公开(公告)日:2022-08-02
申请号:CN202210087035.8
申请日:2022-01-25
Applicant: 华中师范大学
Abstract: 本发明公开了一种基于乐理知识图谱推理的机器人智能导学方法及应用。该方法包括:采集乐理学习者提问的语音信号并转换为文本数据;获取文本数据中的实体嵌入表示hi和关系嵌入表示si;将hi、si与乐理知识图谱的每个实体eu对应的特征向量tu构成候选三元组(hi,si,tu);将候选三元组输入到知识图谱推理模块,获得所有候选三元组的能量值,将能量值最优的候选三元组中的tu对应的eu输出。本发明通过解析问句的实体及其关系,并挖掘乐理知识图谱中实体和关系的深度语义交互,可以提高智能导学的精确性和扩展性。
-
公开(公告)号:CN114461908A
公开(公告)日:2022-05-10
申请号:CN202210099175.7
申请日:2022-01-27
Applicant: 华中师范大学
IPC: G06F16/9535 , G06Q50/20 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于异质交互行为的数字教育资源匹配方法及系统。该方法包括步骤:获取数字教育资源数据,数字教育资源数据包含学习者对资源的偏好数据、资源属性数据、学习者对资源的评论数据,每个学习者有唯一的编号;根据偏好数据、资源属性数据构建异质图,对异质图进行特征提取获得每个资源的异质流特征向量,根据评论数据获取每个资源的文本特征向量;将同一个资源的异质流特征向量、文本特征向量进行拼接获得每个资源的特征向量;将待匹配的目标学习者编号及每个资源的特征向量输入到训练后的推荐模型中,输出被推荐的数字教育资源。本发明可以提升数字教育资源匹配的准确度,从而更好地提供个性化学习服务。
-
公开(公告)号:CN114120432A
公开(公告)日:2022-03-01
申请号:CN202111361427.0
申请日:2021-11-17
Abstract: 本申请公开了一种基于视线估计的在线学习注意力跟踪方法及其应用,该方法包括:获取待检测对象的面部图像、眼睛图像和双眼红外图像,以及待检测对象所处学习环境的场景图像;场景图像中包含与待检测对象进行交互的学习设备的图像;将面部图像、眼睛图像和双眼红外图像输入视线估计识别模型中,获得相机坐标系下待检测对象双眼的三维注视方向;将相机坐标系下的三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点;根据二维注视点与场景图像中的学习区域的位置关系,生成待检测对象当前的注意力检测结果;本发明实现头部姿态以及两种眼部特征的互补,提高复杂背景下的视线估计的准确性,为提高学生线学习注意力提供客观支撑数据。
-
公开(公告)号:CN113807519A
公开(公告)日:2021-12-17
申请号:CN202111002385.1
申请日:2021-08-30
Applicant: 华中师范大学
Abstract: 本发明公开了一种融入教学反馈与习得理解的知识图谱构建方法,该方法包括以下步骤:1)数据获取:将课堂学生行为转换为描述学生对当前知识的理解程度的文本;2)命名实体识别和关系抽取,对课堂文本数据同时做实体识别和关系抽取得到一个有关系的实体三元组;3)将实体和关系嵌入通过带权图卷积网络汇聚邻居节点的信息学习到实体和关系更加丰富的语意表示形成最终的实体嵌入表示;4)通过多尺度卷积神经网络对知识图谱三元组中的备选尾实体评分,选取评分最高尾实体作为推理结果,进一步推理出隐含的知识,对知识图谱进行更新;所述备选尾实体为步骤3)中所更新的所有实体。本发明能够构建每个学生特定的知识图谱,进行学习和教学评价反馈。
-
公开(公告)号:CN104579681B
公开(公告)日:2018-04-20
申请号:CN201410834718.0
申请日:2014-12-29
Applicant: 华中师范大学
IPC: H04L9/32
Abstract: 本发明公开了一种互信应用系统间身份认证系统,该系统包括:用户管理模块,用于保存和维护用户信息;登录验证模块,用于验证由应用系统A发出的用户账号和密码的有效性;若验证通过,将账号和密码和应用系统A的标识包装为票根TGT;获取票据模块,用于将应用系统A发送的用户票根TGT、应用系统A的标识信息appKey和appSecret、用户需要访问的第三方互信应用系统B的服务URL包装为访问应用系统A的票据ST;验证票据模块,用于根据应用系统B提交的票据ST及应用系统B的标识信息appKey和appSecret验证票据ST的有效性;退出登录模块:销毁票根TGT。本发明当用户已登录系统A时,希望访问系统B,则不需要登录操作,直接进入系统B,提高了用户体验。
-
-
-
-
-
-
-
-
-