公开(公告)号：CN112487949A

公开(公告)日：2021-03-12

申请号：CN202011355638.9

申请日：2020-11-27

Applicant: 华中师范大学

Inventor： 杨宗凯 ,  廖盛斌 ,  邓颖

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06Q50/20

Abstract: 本发明公开了一种基于多模态数据融合的学习者行为识别方法，该方法包括对xAPI活动流数据、视频数据以及音频数据进行预处理；将待识别的所述xAPI活动流数据输入BERT模型，将待识别的所述视频数据输入SlowFast模型，将待识别的所述音频数据输入VGGish模型，用以分别对不同模态数据进行特征提取；对三个模型进行特征提取后得到的特征向量分别进行PCA降维，并对降维后的三个所述特征向量进行TFN特征向量融合，得到多模态特征向量；将所述多模态特征向量输入卷积神经网络分类器中进行学生行为的分类，得到学生行为分类结果。本发明采用了一种新的多模态数据融合的办法，有效保留了每个模态数据的特点，使模型的分类准确率更高。

公开(公告)号：CN112487948A

公开(公告)日：2021-03-12

申请号：CN202011355622.8

申请日：2020-11-27

Applicant: 华中师范大学

Inventor： 杨宗凯 ,  廖盛斌 ,  杨邵军

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多空间融合的学习者学习过程的专注度感知方法。该方法包括：获取学生教师课堂学习过程中的感知温度图像；对所述感知温度图像进行预处理，并按照预设的频率选取所述感知温度图像的关键帧；将选取的所述关键帧输入2D卷积神经网络，得到第一输出特征；获取学生线上学习过程中的鼠标移动轨迹；将若干张带有时间序列的所述鼠标移动轨迹输入3D卷积神经网络，得到第二输出特征；将所述第一输出特征与第二输出特征输入SVM线性分类器，得到专注度分级结果。本发明实现了使用深度学习方式提取特征，将二维卷积网络和三维卷积网络分别提取不同的特征，并且对特征使用SVM线性分类器进行分类，可以获得更好的分类效果。

公开(公告)号：CN111859961A

公开(公告)日：2020-10-30

申请号：CN202010743694.3

申请日：2020-07-29

Applicant: 华中师范大学

Inventor： 廖盛斌 ,  郑章雄

IPC: G06F40/289 ,  G06F40/30 ,  G06F16/35

Abstract: 本发明公开了一种基于改进TopicRank算法的文本关键词抽取方法，包括步骤：对文本进行预处理，从预处理后的文本中抽取候选关键词，并对候选关键词进行向量化，然后对向量化后的候选关键词进行聚类生成主题；构建图模型，利用图模型获取每个主题的分值。其中，图模型的顶点代表主题，图模型的边代表构成边的两个顶点所表示主题间的语义关系，边对应的分值权重由主题包含的候选关键词的相对位置、绝对位置和长度确定；从高到低选取分值最高的n个主题，n为预先定义的正整数，从选取的n个主题包含的候选关键词中选取最终文本关键词。本发明能够有效改进TopicRank算法抽取关键词的效果，提高抽取关键词的准确率。