公开(公告)号：CN113723250A

公开(公告)日：2021-11-30

申请号：CN202110967893.7

申请日：2021-08-23

Applicant: 华中师范大学

Inventor： 刘三女牙 ,  陈增照 ,  石雅文 ,  陈荣 ,  张维 ,  戴志诚 ,  郑秋雨

IPC: G06K9/00 ,  G06Q10/06 ,  G06Q50/20 ,  G10L25/63

Abstract: 本发明提供一种用于帮助教师反思性成长的课堂智能分析方法及系统，基于教师课堂授课视频，对教师的课堂声纹、面部表情、头部姿态以及课堂手势，以及对学生注视黑板的信息等非言语行为数据进行自动化的检测与采集，并对教师课堂行为进行综合分析，结合对教师的课堂声纹、课堂表情、头部姿态以及课堂手势分析结果，以及对学生注视黑板信息的分析结果，并参考优秀教师授课视频的分析结果或预设的优秀教师授课的标准，以及参考对教师之前的课堂视频分析的历史记录，分析教师在课堂授课过程中的表现情况和需要改进的方向，以帮助教师进行反思性成长。本发明将多种人工智能技术融合在一起，提高了教师课堂非言语行为分析的全面性和有效性。

公开(公告)号：CN112599135A

公开(公告)日：2021-04-02

申请号：CN202011473387.4

申请日：2020-12-15

Applicant: 华中师范大学

Inventor： 刘三女牙 ,  陈增照 ,  陈荣 ,  易宝林 ,  戴志诚 ,  郑秋雨 ,  张婧 ,  王梦珂

IPC: G10L17/00 ,  G10L17/02 ,  G10L17/04 ,  G10L25/24 ,  G10L25/51 ,  G06Q50/20

Abstract: 本发明提供一种教学模式分析方法及系统，包括：检测课堂音频中的活动音，并标记各段活动音的起始时间和结束时间；根据各段活动音的起始时间和结束时间将教学音频进行切割，得到多段活动音频；基于组合的梅尔倒谱特征MFCC向量提取各段活动音频中的不同说话人特征和不同说话人的时长；基于预训练好的通用背景模型UBM将不同说话人特征分别判别为教师说话和学生说话，并确定对应的教师说话时长和学生说话时长；根据教师说话时长占总课堂时长的比例判断课堂的教学模式为练习型课堂、讲授型课堂或混合型课堂。本发明采用人工智能技术从课堂音频中提取出课堂上教师学生交互话语数据，对教师课堂的教学模式进行分析。

公开(公告)号：CN117933223B

公开(公告)日：2024-08-20

申请号：CN202410110728.3

申请日：2024-01-24

Applicant: 华中师范大学

Inventor： 刘智 ,  温超东 ,  孙建文 ,  刘三女牙 ,  戴志诚 ,  邓磊

IPC: G06F40/205 ,  G06F40/35 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06F18/213 ,  G06F18/25

Abstract: 本申请公开了一种文本情绪原因对抽取方法、系统、电子设备与存储介质，其中方法包括：获取待抽取文本；将待抽取文本输入至情绪原因对抽取模型，获得情绪原因对抽取模型输出的待抽取文本的各子句对为情绪原因对的预测概率；情绪原因对抽取模型用于获取待抽取文本的各子句的特征，对各子句的特征进行分区过滤，获得各子句的特定于情绪子句抽取任务的情绪特征、特定于原因子句抽取任务的原因特征以及任务之间的共享特征，以确定各子句对的特征，并基于各子句对的特征执行情绪原因对抽取任务，获得各子句对的预测概率；基于各子句对的预测概率，确定待抽取文本中的情绪原因对，从而提升了情绪原因对抽取任务的精度。

公开(公告)号：CN112668476B

公开(公告)日：2024-04-16

申请号：CN202011585656.6

申请日：2020-12-28

Applicant: 华中师范大学

Inventor： 陈增照 ,  鲁圆圆 ,  何秀玲 ,  郑秋雨 ,  戴志诚 ,  张婧 ,  陈荣 ,  刘洪 ,  吴潇楠

IPC: G06V20/40 ,  G06Q10/0637 ,  G06Q50/20

Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质，所述数据处理方法具体包括：首先获取教师教学的原始音视频数据；然后从所述原始音视频数据中提取出表征教学行为的特征数据，并根据所述特征数据生成对应的隶属度矩阵，所述隶属度矩阵中的每一行用于表征该行对应的特征数据与预设标准的占比得分；最后基于所述隶属度矩阵以及所述特征数据对应的预设权重矩阵，得到用于表征教学行为质量的目标矩阵。通过本方案能客观、准确地对教学行为质量进行评估，解决了现有教学行为质量评估方法无法客观、准确地对教学行为质量进行评估的问题。

公开(公告)号：CN113743263B

公开(公告)日：2024-02-13

申请号：CN202110970746.5

申请日：2021-08-23

Applicant: 华中师范大学

Inventor： 陈增照 ,  万硕 ,  戴志诚 ,  张维 ,  王梦珂 ,  张婧 ,  吴潇楠 ,  王虎

IPC: G06V40/20 ,  G06V40/16 ,  G06V20/40 ,  G06T7/80 ,  G06T17/00 ,  G06T19/00 ,  G06Q50/20

Abstract: 本发明公开了一种教师非言语行为测量方法及系统，其中，测量方法包括：对教室进行三维建模，并对教学视频的二维图像信息进行分析处理，计算每一帧视频中的教师头部三维坐标和头部欧拉角，得到教师视线落点数据，并将视线落点投射在三维建模的教室空间中，实现了教师视线落点的可视化；本发明通过分析教师视线落点的离散度和覆盖率了解教师授课时的注意力分布情况；本发明将教学视频按每5帧分组，通过教师头部欧拉角解析教师头部移动，识别连续头部移动对应的不同教学行为，从而了解教师的授课风格和课堂氛围。

公开(公告)号：CN112668467B

公开(公告)日：2023-11-07

申请号：CN202011573481.7

申请日：2020-12-25

Applicant: 华中师范大学

Inventor： 陈增照 ,  易宝林 ,  孟秉恒 ,  鲁圆圆 ,  戴志诚 ,  张婧 ,  王旭阳 ,  吴潇楠 ,  曹子妍

IPC: G06V20/40 ,  G06V40/20 ,  G06V40/16

Abstract: 本申请提供了一种行为分析方法、装置、电子设备及存储介质，涉及数据处理技术领域，该方法包括：基于第一评价数据构建特征矩阵，基于第二评价数据以及设定行为计量表计算得到标签向量。将特征矩阵与标签向量进行拼接后得到第一矩阵，并将第一矩阵输入线性回归模型以得到拟合数据曲线，拟合数据曲线用于表征宣讲者的行为与听讲者的行为的关联性。本申请通过拟合曲线得到宣讲者的行为与听讲者行为的关联性，以分析听讲者对宣讲者行为的反馈行为，避免人工针对听讲者的行为评价宣讲者的行为时的主观性，以提高行为分析的准确性。

公开(公告)号：CN113742396B

公开(公告)日：2023-10-27

申请号：CN202110989581.6

申请日：2021-08-26

Applicant: 华中师范大学

Inventor： 张立山 ,  李亭亭 ,  刘丽丽 ,  冯硕 ,  赵爱茹 ,  戴志诚

IPC: G06F16/2458 ,  G06F18/23213 ,  G06Q50/20

Abstract: 本发明提供了一种对象学习行为模式的挖掘方法及装置，属于挖掘学习行为模式的技术领域，方法包括：将对象行为按照对象执行动作的时间先后顺序排列，构建各个对象对应的行为序列，组成行为序列数据库；采用学习行为embedding对整个行为序列数据库中的行为进行向量化处理；对向量化处理后的行为进行聚类，将行为划分为不同类别；对不同的行为类别赋值不同的数字编码，构建各个对象对应的数字化行为序列；采用序列模式挖掘方法，从数字化行为序列数据库中挖掘频繁子序列；基于频繁子序列分析对象学习行为模式。本发明可以减少挖掘子序列过多，学习行为子序列冗余的情况，使得挖掘的序列模式更具代表性。

公开(公告)号：CN116680369A

公开(公告)日：2023-09-01

申请号：CN202310420171.9

申请日：2023-04-13

Applicant: 华中师范大学

Inventor： 刘智 ,  崔晨阳 ,  戴志诚 ,  刘三女牙

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/338 ,  G06F16/34

Abstract: 本发明提供一种共情对话生成方法及系统，属于自然语言处理领域，包括以下步骤：S1、获取对话数据集；S2、对数据集进行情感标注，并从常识知识库中获取常识知识；S3、对标注的情感和获取的常识知识编码，得到情感上下文向量和常识上下文向量；S4、将情感上下文向量和常识上下文向量融合为一个双重特征上下文向量；S5、利用历史对话序列估计出回复的情感状态，然后将该状态转化为一个混合情感矩阵；S6、将双重特征上下文向量和混合情感矩阵输入到多源解码器，生成回复；本发明通过情感和常识知识联合建模增强了情绪感知和共情表达，还通过推理回复的情感状态使生成的回复在情感上与真实场景一致。

公开(公告)号：CN116602675A

公开(公告)日：2023-08-18

申请号：CN202310492574.4

申请日：2023-05-04

Applicant: 华中师范大学

Inventor： 朱晓亮 ,  刘艮东 ,  荣文婷 ,  杨宗凯 ,  赵亮 ,  戴志诚

IPC: A61B5/16 ,  A61B5/369 ,  A61B5/374 ,  A61B5/00 ,  G06F18/241 ,  G06F18/214 ,  G06F18/213 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于脑电信号的学习情绪分类方法及系统，方法包括：获取学习者的多个通道的脑电信号；不同通道对应不同的脑部位置；通过巴特沃斯带通滤波器将脑电信号过滤为多个不同的频段，获得多个通道的多个频段的脑电信号；将多个通道的多个频段的脑电信号输入至训练好的困惑分类模型，获得学习者的困惑分类结果；若判断获知困惑分类结果为困惑时，困惑分类结果即为学习者的学习情绪；若判断获知困惑分类结果为非困惑时，则将多个通道的多个频段的脑电信号输入至训练好的情绪分类模型，获得学习者的情绪分类结果，情绪分类结果即为学习者的学习情绪。本发明可以避免困惑情绪与其他情绪的分类混淆情况，提高情绪分类准确率。

公开(公告)号：CN115831115A

公开(公告)日：2023-03-21

申请号：CN202211377435.9

申请日：2022-11-04

Applicant: 华中师范大学

Inventor： 张浩 ,  黄涛 ,  刘三女牙 ,  李宗霖 ,  王翔宇 ,  李耀鹏 ,  戴志诚

IPC: G10L15/26 ,  G10L15/14 ,  G10L17/02 ,  G09B5/04

Abstract: 本发明提供一种课堂纪要生成方法及系统，方法包括：获取课堂音频文件；对课堂音频文件进行语音识别和声纹识别，得到包含说话人信息和对应说话内容的课堂记录文本；将课堂记录文本输入至课堂纪要生成模型，得到课堂纪要文本；其中，课堂纪要生成模型是基于样本课堂记录文本及对应的样本课堂纪要文本训练得到的；课堂纪要生成模型用于对课堂记录文本进行主题划分和环节划分，并基于划分得到的主题向量和环节向量对课堂记录文本进行编码，得到课堂记录文本的文本表征向量，对文本表征向量进行解码，得到课堂纪要文本。本发明实现了课堂纪要文本的自动生成，极大地提升了纪要生成的效率，同时提升了课堂纪要文本的准确性、逻辑性和整体的连贯性。