-
-
公开(公告)号:CN113742586B
公开(公告)日:2023-10-24
申请号:CN202111017066.8
申请日:2021-08-31
Applicant: 华中师范大学
IPC: G06F16/9535 , G06F16/36 , G06N3/0442 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种基于知识图谱嵌入的学习资源推荐方法及系统,方法包括:确定学习资源知识图谱;基于学习者社会属性、知识水平、学习风格以及学习专注度构建学习者特征;将学习者特征与学习资源知识图谱相结合,得到多模态知识图谱;构建知识图谱嵌入的学习资源推荐模型,将多模态知识图谱、学习者喜好的资源以及目标学习资源输入到学习资源推荐模型,提取学习者喜好的资源与目标学习资源之间的路径,以对目标学习资源进行打分,判断目标学习资源是否满足学习者的需求,并基于打分的结果向学习者推荐满足学习者需求的学习资源。本发明全面考虑学习者学习状态的影响因素、资源之间的关联关系进行学习资源推荐,可以满足学习者实际需求。
-
公开(公告)号:CN115659207A
公开(公告)日:2023-01-31
申请号:CN202210581855.2
申请日:2022-05-26
Applicant: 华中师范大学
IPC: G06F18/24 , G06F18/213 , G06F18/25 , G06N3/0464 , G06N3/08 , A61B5/374 , A61B5/16 , A61B5/00
Abstract: 本发明提供一种脑电情绪识别方法及系统,包括:确定待识别脑电情绪实体的M个通道的脑电信号;每个通道对应一个脑电信号测量位置;将所述M个通道的脑电信号输入到预先训练好的脑电情绪识别网络模型,以识别出对应的脑电情绪;四阶巴特沃斯带通滤波器将M个通道的脑电信号过滤成五个子频带,并选择出与脑电情绪相关度高的C个通道的脑电信号;多通道并行卷积神经网络提取预处理后脑电信号在不同频带下的通道特征和时间特征对应的组合序列特征;注意力网络将不同频带的组合序列特征进行融合,得到融合后的特征;特征提取网络提取融合后特征的深度特征;分类网络对深度特征进行分类,以识别对应的脑电情绪。本发明对脑电情绪的识别准确率高。
-
公开(公告)号:CN110544481B
公开(公告)日:2022-09-20
申请号:CN201910798357.1
申请日:2019-08-27
Applicant: 华中师范大学
Abstract: 本发明公开了一种基于声纹识别的S‑T分类方法、装置及设备终端,该方法包括:根据从目标语音样本数据中提取的声纹特征建立目标声纹标准模型;通过话语检测将待测的课堂语音数据分割为不同的语音片段,每个语音片段包含单一说话人的语音数据;将各语音片段与目标声纹标准模型进行匹配并计算相似性得分并将得分高于预设的得分阈值的语音片段判定为目标语音;本发明基于行为在时间维度进行连续抽样,通过话语检测分割出教师和学生各自话语行为的语音片段;根据采集数据分析教学模式,多维度可视化呈现教学过程中的行为数据;在收集数据时有更高的准确性,大大降低了采样时部分行为数据丢失的可能性,提高了后续模型匹配过程中的分类准确性。
-
公开(公告)号:CN114970701A
公开(公告)日:2022-08-30
申请号:CN202210539253.0
申请日:2022-05-18
Applicant: 华中师范大学
Abstract: 本发明公开了一种基于多模态融合的课堂互动分析方法及系统,所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频,对课堂视频预处理;利用声纹识别技术和姿态估计算法处理课堂教学视频,判别说话者身份;设计师生互动行为类别,根据课堂互动行为主体不同进行分类;最后编制互动分析MFIAS编码表,构建多模态融合行为对照表映射特征行为,量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵,提出了一种基于多模态融合的课堂互动分析方法及系统,解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。
-
公开(公告)号:CN114781465B
公开(公告)日:2022-08-30
申请号:CN202210695576.9
申请日:2022-06-20
Applicant: 华中师范大学
IPC: G06K9/00 , G06V40/16 , G06V20/59 , G06V10/25 , G06V10/28 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06T7/246 , A61B5/16 , A61B5/0205
Abstract: 本发明提供一种基于rPPG的非接触式疲劳检测系统及方法,该系统及方法采用多线程同步通讯,针对实时检测需求,基于python threading多线程模块,实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中,第一个线程,实现rPPG数据的实时捕获、保存与拼接;第二个线程,实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上,实现rPPG原始信号提取,消除人脸内外环境噪声的干扰;其次,通过自适应多级滤波提高信噪比,通过多维度融合CNN模型实现呼吸和心率的高精度检测;最后,在呼吸和心率多通道数据融合的基础上,实现高精度的疲劳分类。
-
公开(公告)号:CN112637301B
公开(公告)日:2022-08-05
申请号:CN202011483776.5
申请日:2020-12-16
Applicant: 华中师范大学
IPC: H04L67/562 , H04L67/141 , H04L67/01
Abstract: 本发明提供一种基于Project Reactor框架的数据传输方法及系统,包括:设备端获取传感器实时检测的数据,并将传感器实时检测的数据发送给云平台的数据采集引擎;设备端和云平台的数据采集引擎之间采用MQTT协议进行通信;云平台的数据采集引擎利用Project Reactor框架构建;云平台的数据采集引擎利用Reactive Spring Cloud Stream构建响应式消息通信组件,将传感器实时检测的数据发送给Kafka消息中间件,将Kafka消息中间件中传感器实时检测数据转发给大数据平台或数据库;云平台的数据采集引擎利用Spring Reactive Data构建响应式数据访问组件,将Kafka消息中间件中传感器实时检测数据转发给MongoDB。本发明在数据的传输方面更加高效。
-
公开(公告)号:CN114781465A
公开(公告)日:2022-07-22
申请号:CN202210695576.9
申请日:2022-06-20
Applicant: 华中师范大学
IPC: G06K9/00 , G06V40/16 , G06V20/59 , G06V10/25 , G06V10/28 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06T7/246 , A61B5/16 , A61B5/0205
Abstract: 本发明提供一种基于rPPG的非接触式疲劳检测系统及方法,该系统及方法采用多线程同步通讯,针对实时检测需求,基于python threading多线程模块,实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中,第一个线程,实现rPPG数据的实时捕获、保存与拼接;第二个线程,实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上,实现rPPG原始信号提取,消除人脸内外环境噪声的干扰;其次,通过自适应多级滤波提高信噪比,通过多维度融合CNN模型实现呼吸和心率的高精度检测;最后,在呼吸和心率多通道数据融合的基础上,实现高精度的疲劳分类。
-
公开(公告)号:CN113903045A
公开(公告)日:2022-01-07
申请号:CN202111237628.X
申请日:2021-10-22
Applicant: 华中师范大学
IPC: G06V30/244 , G06F40/126
Abstract: 本发明公开了一种手写汉字图像的笔顺识别方法及系统,其中,笔顺识别方法包括预处理步骤、第一次笔顺匹配步骤、第二次笔顺匹配步骤和笔段融合步骤;本发明提供的笔顺识别方法是针对静态手写汉字图像,避免了在电子设备上书写体验的失真;本发明基于八邻域方向编码规则给出了不同类型笔画的非法方向编码,并根据非法方向编码来计算第一次笔顺匹配步骤中的匹配权重;本发明对手写汉字进行第一次笔顺匹配和第二次笔顺匹配,可确保手写汉字中的每个笔段都有匹配的笔顺;本发明通过不同笔段的八邻域编码链和不同笔画的合法方向编码来实现笔段融合;通过本发明提供的笔顺识别方法,能有效提高静态手写汉字图像中笔顺识别的准确率。
-
公开(公告)号:CN113743250A
公开(公告)日:2021-12-03
申请号:CN202110939047.4
申请日:2021-08-16
Applicant: 华中师范大学
Abstract: 本发明公开了一种课堂教学行为事件描述模型的构建方法及系统。该构建方法包括如下步骤:获取待训练的课堂教学视频数据;利用语音活动检测技术,将待训练的课堂教学视频数据按照教师的话语划分成多个事件;利用多种人工智能技术对所有事件进行多模态识别,划分为多个维度下的子事件,根据子事件建立事件描述模型,对教师在课堂中的各项教学行为事件进行描述。本发明根据语音对课堂视频进行切割,能够最大程度上保证每一个事件中教师非言语行为的完整性;且通过提取不同事件之间的共性,建立统一描述所有事件的描述模型,不仅能完成对教师各项教学行为的描述,还能反映出事件与事件之间的关联性,使得事件不再是孤立的。
-
-
-
-
-
-
-
-
-