-
公开(公告)号:CN118506803A
公开(公告)日:2024-08-16
申请号:CN202410523668.8
申请日:2024-04-28
Applicant: 华中师范大学
Abstract: 本发明属于语音分析技术领域,公开了一种基于时空表征说话人追踪的课堂话语交互行为分析系统,包括:课堂音频说话人特征抽取,得到初步声纹特征;设计深度神经编码器网络对所提取的特征提取深层次的时序特征表示并引入滤波器模块对特征中存在的噪音(无效特征)进行过滤;设计卷积神经网络提取音频中存在的局部空间特征;将两种特征融合起来得到时空表征向量并输入说话者数量估计模块,估计存在的说话者数量;利用存在的说话者数量向量与时空表征向量得到预测结果,并利用损失函数优化模型,通过所述模型输出最终语段中说话人身份的帧级预测结果,最终按照帧的预设时间,得到课堂说话人的追踪结果。本发明实现了课堂场景中更为精准的说话者身份预测,并能有效处理课堂场景中存在噪音和说话者数量未知的情景,更加具有普适性,此外,本发明在改进说话人追踪技术的基础上,通过引入社会网络分析法来构建课堂交互网络,以此来实现对课堂话语交互的自动化分析。
-
公开(公告)号:CN118351885A
公开(公告)日:2024-07-16
申请号:CN202410491843.X
申请日:2024-04-23
Applicant: 华中师范大学
IPC: G10L25/63 , G10L25/30 , G06F18/25 , G06F18/241 , G06F18/213 , G06N3/045 , G06N3/0455 , G06N3/08
Abstract: 本申请公开了一种多模态情感识别方法、系统、电子设备与存储介质,其中方法包括:获取待识别语音的频谱图及其对应的文本;将频谱图和文本输入至多模态情感识别模型,获得所述多模态情感识别模型输出的情感识别结果;所述多模态情感识别模型基于样本频谱图,以及对应的样本文本和样本情感识别结果训练得到;所述多模态情感识别模型用于对所述频谱图和所述文本均利用自注意力机制进行特征提取,获得语音特征和文本特征,对文本特征和语音特征进行特征融合,获得多模态融合特征,并基于文本特征、语音特征和多模态融合特征进行情感分类决策,获得所述情感识别结果。通过本申请,使得不同模态信息之间相互补充,极大提高了情感分类的鲁棒性和准确性。
-
公开(公告)号:CN114418415B
公开(公告)日:2024-07-02
申请号:CN202210082077.2
申请日:2022-01-24
Applicant: 华中师范大学
IPC: G06Q10/0639 , G06Q50/20 , G06F16/2458
Abstract: 本发明属于学习者建模技术领域,公开了一种面向学习者的自我调节学习数据信息处理系统及方法,构建由四个循环阶段组成的学习者自我调节学习过程理论模型;对二级指标进行分解和解释,构建自我调节学习指标体系;依据所提出的自我调节学习指标体系进行数据采集和预处理。本发明着眼于学习者能力的培养,在国外经典理论的基础上结合实际需求将其改进优化,使其更好地适配于我国学生的学习情况。本发明利用家校合作的方式使低学龄段学习者在开展自我调节学习时也能够得到更多的反馈和帮助,从学习者外部动机的激发过程到内部动机的维持过程都体现了家长和教师的参与和帮助,从而引导学生更好地进行自我调节学习,协同家校双方为学生营造良好的共育氛围。
-
公开(公告)号:CN114818698B
公开(公告)日:2024-04-16
申请号:CN202210469691.4
申请日:2022-04-28
Applicant: 华中师范大学
IPC: G06F40/289 , G06F40/30 , G06F16/35 , G06N3/0455
Abstract: 本发明提供了一种自然语言文本和数学语言文本的混合词嵌入方法,包括:对混合文本进行识别和预处理,得到由文本和数学表达式组成的数学资源数据集;对具有树形结构的数学表达式进行位置编码,保持树形结构的相对位置平移不变;对具有线性结构特征的文本和具有树形结构特征的数学表达式进行统一位置编码;将相对位置编码送入预训练模型的注意力模块,采用掩蔽语言模型和下句预测两个标准预训练任务对数学资源进行预训练,预训练完成后,每个符号均可得到富含上下文信息的嵌入向量表示。
-
公开(公告)号:CN117556381B
公开(公告)日:2024-04-02
申请号:CN202410009208.3
申请日:2024-01-04
Applicant: 华中师范大学 , 篆刻时光科技(武汉)有限公司
Abstract: 本发明属于个性化学习技术领域,公开了一种面向跨学科主观试题的知识水平深度挖掘方法及系统,包括:提取学习者特征、跨学科主观试题特征、学习者‑试题交互特征,引入深度神经网络对学习者和试题的交互信息进行挖掘;结合模糊逻辑对学习者在主观试题上的答题情况进行表征,基于深度模糊神经网络对学习者在主观试题上的知识认知状态进行预测;利用学习者与试题之间的交互信息,在对学习者知识水平深度挖掘的同时,对试题区分度以及试题所涉及知识点难度进行预测。本发明公开的方法有利于提高模型在学习者试题表现和知识认知状态的预测准确度性能,优化了模型的收敛速率和训练速率,从技术层面助力智慧教育的落地。
-
公开(公告)号:CN116741206A
公开(公告)日:2023-09-12
申请号:CN202310954870.1
申请日:2023-07-31
Applicant: 华中师范大学
IPC: G10L25/63 , G10L25/03 , G10L25/30 , G10L15/22 , G10L15/06 , G10L15/16 , G10L15/02 , G10L17/22 , G10L17/04 , G10L17/02 , G10L17/18
Abstract: 本发明提供一种基于多任务学习的语音情感识别方法及系统,属于情感识别领域,方法包括:获取预先训练好的多任务模型;多任务模型包括:预训练模型和多个任务分支,预训练模型用于提取语音的音频特征,多个任务分支包括:主任务和两个辅助任务,主任务进行语音情感识别,第一个辅助任务进行文本识别,第二个辅助任务进行说话人识别,多个任务分支训练阶段所用的损失函数将主任务和两个辅助任务各自的损失函数线性组合得到;将原始语音输入到多任务模型,获得识别的语音情感。本发明构建了以语音情感识别为主任务,文本识别和说话人识别为辅助任务的多任务学习框架,在多任务框架中训练时能够相互促进,提高了识别精度。
-
公开(公告)号:CN115357758A
公开(公告)日:2022-11-18
申请号:CN202210994651.1
申请日:2022-08-18
Applicant: 华中师范大学
IPC: G06F16/90 , G06F16/904 , G06N3/04
Abstract: 本发明属于人工智能以及教育学交互技术领域,公开了一种融合题目语义信息的智能Q矩阵生成方法、系统及终端,运用BiLSTM+Transformer获取数据集中的数学知识点,并使用CRF对每个词的标注类型进行订正从而输出数学知识点;运用BiGRU+Attention机制对知识点进行关系抽取,输出每个知识点对之间的关系;利用知识点之间的关系设计冗余知识点删减算法,通过删减算法对冗余的知识点进行删减,并使用删减过后的知识点集合生成Q矩阵。本发明采用Transformer+BiLSTM+CRF方法能够达到比较高的知识点抽取率;采用BiGRU+Attention方法能够比较准确的输出知识点对之间的关系。
-
公开(公告)号:CN112036288B
公开(公告)日:2022-03-15
申请号:CN202010876454.0
申请日:2020-08-27
Applicant: 华中师范大学
Abstract: 本发明公开一种基于跨连接多特征融合卷积神经网络的面部表情识别方法,包括如下步骤:首先,进行人脸检测、数据预处理,减少背景信息干扰;然后,搭建一个跨连接多特征融合卷积神经网络自动提取丰富有效的面部表情特征,将网络的高低层次特征进行融合;最后,利用softmax进行面部表情分类。本发明将面部表情图像的高层次语义特征和低层次特征进行融合,充分利用每个隐藏层所学习到的特征信息,来提取更加充分、更为细致的表情特征,解决表情识别效果欠佳、鲁棒性差的问题。
-
公开(公告)号:CN113591988A
公开(公告)日:2021-11-02
申请号:CN202110874755.4
申请日:2021-07-30
Applicant: 华中师范大学
Abstract: 本发明属于个性化学习技术领域,公开了一种知识认知结构分析方法、系统、计算机设备、介质、终端,以学习者的学习交互序列为基础,得到联合先验特征;设计分层卷积神经网络对学习者学习状态进行空间分析,提取包含学习者个性化学习能力的空间特征;输出学习者在给定异构特征下对练习的反应情况,构建学习过程中影响学习者知识认知结构及表现的学习者时空融合特征;引入双向门循环单元,构建基于长时间依赖和融合时空特征的知识认知结构分析模型去动态诊断学习者的知识认知结构,预测学习者的学习表现。本发明有利于提高知识认知结构分析模型在预测学习者在特定资源下的学习表现方面的预测精度,对个性化教学的发展具有一定的借鉴意义。
-
公开(公告)号:CN108228779B
公开(公告)日:2021-03-23
申请号:CN201711466799.3
申请日:2017-12-28
Applicant: 华中师范大学
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06Q50/20
Abstract: 本发明属于学习分析领域,提供一种基于学习社区对话流的成绩预测方法,该方法针对输入的课程下的学习小组的对话流文件,输出该小组中的学习者成绩等级,该方法分为训练和预测两个阶段,训练阶段得到成绩预测模型,预测阶段应用此模型进行成绩预测。本发明在采集在线学习社区中对话流数据的基础上,通过对话流划分算法、对话状态矩阵生成算法和预测模型生成算法,实现对在线学习社区中对话流的分析,以完成自动评估某个学习小组的学习效果并预测该小组中学生成绩等级,以实现教师对个别学生的预测与干预。
-
-
-
-
-
-
-
-
-