公开(公告)号：CN119153090A

公开(公告)日：2024-12-17

申请号：CN202411198005.X

申请日：2024-08-29

Applicant: 华中师范大学

Inventor： 刘海 ,  吴砥 ,  宋裕 ,  聂紫洁 ,  曾爽 ,  张美沂 ,  王政 ,  陈强 ,  张昭理 ,  刘婷婷 ,  李友福

IPC: G16H50/30 ,  G06V20/40 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0464

Abstract: 本申请实施例公开了一种基于扩散模型的跨层多粒度自闭症风险评估方法，涉及计算机技术领域，所述方法包括：获取教学场景内待评估目标的视频数据，并基于视频数据处理得到图像序列，将图像序列输入训练好的扩散模型中，通过训练好的扩散模型确定每一帧图像中每个所述待评估目标的头部注视目标区域；基于每一帧图像的头部注视目标区域确定注视目标类别，计算得到对应的时段范围内的自闭症风险评估参数。本申请可以根据自闭症风险评估参数判断每个待评估目标可能存在自闭症的风险，能够客观、准确的预测目标患有自闭症的风险程度，利于相关人员提前采取预防措施，不仅可以降低风险评估的成本，同时也可以保证风险评估的准确度和效率。

公开(公告)号：CN118351885A

公开(公告)日：2024-07-16

申请号：CN202410491843.X

申请日：2024-04-23

Applicant: 华中师范大学

Inventor： 陈增照 ,  赵传旭 ,  王志锋 ,  汪兵 ,  王政 ,  黄雯凯 ,  刘川 ,  郑秋雨 ,  邹成

IPC: G10L25/63 ,  G10L25/30 ,  G06F18/25 ,  G06F18/241 ,  G06F18/213 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请公开了一种多模态情感识别方法、系统、电子设备与存储介质，其中方法包括：获取待识别语音的频谱图及其对应的文本；将频谱图和文本输入至多模态情感识别模型，获得所述多模态情感识别模型输出的情感识别结果；所述多模态情感识别模型基于样本频谱图，以及对应的样本文本和样本情感识别结果训练得到；所述多模态情感识别模型用于对所述频谱图和所述文本均利用自注意力机制进行特征提取，获得语音特征和文本特征，对文本特征和语音特征进行特征融合，获得多模态融合特征，并基于文本特征、语音特征和多模态融合特征进行情感分类决策，获得所述情感识别结果。通过本申请，使得不同模态信息之间相互补充，极大提高了情感分类的鲁棒性和准确性。

公开(公告)号：CN116741206A

公开(公告)日：2023-09-12

申请号：CN202310954870.1

申请日：2023-07-31

Applicant: 华中师范大学

Inventor： 王志锋 ,  陈增照 ,  刘川 ,  王胜明 ,  王政 ,  龚斌 ,  石雅文 ,  侯戈 ,  冯子祚 ,  林梦婷

IPC: G10L25/63 ,  G10L25/03 ,  G10L25/30 ,  G10L15/22 ,  G10L15/06 ,  G10L15/16 ,  G10L15/02 ,  G10L17/22 ,  G10L17/04 ,  G10L17/02 ,  G10L17/18

Abstract: 本发明提供一种基于多任务学习的语音情感识别方法及系统，属于情感识别领域，方法包括：获取预先训练好的多任务模型；多任务模型包括：预训练模型和多个任务分支，预训练模型用于提取语音的音频特征，多个任务分支包括：主任务和两个辅助任务，主任务进行语音情感识别，第一个辅助任务进行文本识别，第二个辅助任务进行说话人识别，多个任务分支训练阶段所用的损失函数将主任务和两个辅助任务各自的损失函数线性组合得到；将原始语音输入到多任务模型，获得识别的语音情感。本发明构建了以语音情感识别为主任务，文本识别和说话人识别为辅助任务的多任务学习框架，在多任务框架中训练时能够相互促进，提高了识别精度。

公开(公告)号：CN119151742A

公开(公告)日：2024-12-17

申请号：CN202411199955.4

申请日：2024-08-29

Applicant: 华中师范大学

Inventor： 刘海 ,  刘志冰 ,  吴砥 ,  宋裕 ,  刘婷婷 ,  王政 ,  易绍鑫 ,  张昭理 ,  李友福 ,  卞羿琳

IPC: G06Q50/20 ,  G06V40/16 ,  G06V40/18 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请公开了一种基于内隐参数建模的教学投入度评测方法，涉及信息化教育技术领域，包括：获取智慧教室环境下采集到的教学行为资源，对教学行为资源进行预处理，转化为教学者的面部图像和眼部图像；将预处理后的面部图像和眼部图像输入到预先训练的网络模型中得到教学者在教学场景下的面部表情和视线方向；根据不同时刻教学过程中教学者的面部表情及视线方向分别获取教学者的情感特征和注意力特征，并采用情感特征和注意力特征作为内隐状态指标得到教学投入度评测结果。其可以对教师的教学行为进行多维度的监测和评估，以提高教师教学投入度评估的准确性和实时性，从而提供个性化的反馈和改进建议，帮助教师提升专业素养和教学能力。

公开(公告)号：CN119151741A

公开(公告)日：2024-12-17

申请号：CN202411197302.2

申请日：2024-08-29

Applicant: 华中师范大学

Inventor： 刘海 ,  吴砥 ,  丁宁 ,  宋裕 ,  聂紫洁 ,  曾爽 ,  邓李茜 ,  王政 ,  张昭理 ,  刘婷婷 ,  李友福

IPC: G06Q50/20 ,  G06F18/24 ,  G06F18/213 ,  G06N5/04

Abstract: 本申请实施例公开了一种基于大语言模型的学习状态检测方法，涉及教学信息化技术领域，该方法包括：获取目标学习者在学习过程中的第一类数据和第二类数据；基于所述第一类数据和所述第二类数据组成整体特征向量；将整体特征向量输入到训练好的行为特征检测大语言模型，获得学习行为特征向量，基于所述学习行为特征向量输出所述目标学习者在所述学习过程中的学习状态评估信息。采用本申请提供的所述方法，不仅利用了学习者的行为数据，还利用了学习者与设备之间的交互数据，从而可以挖掘多来源多模态数据间的互补特征，从而深入且全面地检测学习状态，实时的发现学习者学习状态不佳的情况，便于学习者提高自学时候的学习效率。

公开(公告)号：CN116564340A

公开(公告)日：2023-08-08

申请号：CN202310525675.7

申请日：2023-05-10

Applicant: 华中师范大学

Inventor： 陈增照 ,  郑秋雨 ,  王志锋 ,  刘海 ,  姜新星 ,  王卓 ,  王政 ,  刘川

IPC: G10L25/18 ,  G10L17/04 ,  G10L15/22

Abstract: 本发明公开了一种基于深度卷积编码器的说话人识别方法，属于语音识别技术领域。本发明方法首先接收说话者的待识别语音；之后对所述待识别语音按预设时长分段并进行数据增强；再从每个音频片段中提取梅尔频谱特征；最后将所述梅尔频谱特征输入至预先训练完成的识别模型中，输出所述待识别语音的说话者身份；本发明所提出的说话人识别方法相比主流说话人识别方法准确率具有明显提升。

公开(公告)号：CN119068551A

公开(公告)日：2024-12-03

申请号：CN202411191226.4

申请日：2024-08-28

Applicant: 华中师范大学

Inventor： 刘海 ,  吴砥 ,  曾爽 ,  张美沂 ,  钱诗佳 ,  刘志冰 ,  王政 ,  陈强 ,  张昭理 ,  刘婷婷 ,  李友福

IPC: G06V40/20 ,  G06V10/74 ,  G06V10/20 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请实施例公开了一种基于骨架结构表示学习的广播体操动作评测方法，涉及计算机视觉技术领域，该方法包括：获取学习者进行广播体操运动的图像序列；将图像序列输入训练好的二维人体姿态识别模型中，获取图像序列对应的二维人体姿态序列；将二维人体姿态序列输入训练好的三维人体姿态识别模型中，获取三维人体姿态序列；将三维人体姿态序列与标准动作模型进行比对，输出比对结果。采用本申请提供的所述方法，通过学习者的广播体操动作视频分析得到二维和三维人体姿态估计，从而可以捕捉学习者的动作细节，并与预设的标准广播体操动作模型进行对比，可以根据比较结果确定学习者需要改进的具体区域，从而有利于学习者提高训练效率和质量。