公开(公告)号：CN114970701A

公开(公告)日：2022-08-30

申请号：CN202210539253.0

申请日：2022-05-18

Applicant: 华中师范大学

Inventor： 戴志诚 ,  刘三女牙 ,  杨宗凯 ,  王春冉 ,  朱晓亮 ,  赵亮 ,  孙成章

IPC: G06K9/62 ,  G06V10/80 ,  G06V20/40 ,  G06V40/20 ,  G06V40/70 ,  G10L17/02

Abstract: 本发明公开了一种基于多模态融合的课堂互动分析方法及系统，所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频，对课堂视频预处理；利用声纹识别技术和姿态估计算法处理课堂教学视频，判别说话者身份；设计师生互动行为类别，根据课堂互动行为主体不同进行分类；最后编制互动分析MFIAS编码表，构建多模态融合行为对照表映射特征行为，量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵，提出了一种基于多模态融合的课堂互动分析方法及系统，解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。

公开(公告)号：CN114970701B

公开(公告)日：2024-11-15

申请号：CN202210539253.0

申请日：2022-05-18

Applicant: 华中师范大学

Inventor： 戴志诚 ,  刘三女牙 ,  杨宗凯 ,  王春冉 ,  朱晓亮 ,  赵亮 ,  孙成章

IPC: G06F18/25 ,  G06V10/80 ,  G06V20/40 ,  G06V40/20 ,  G06V40/70 ,  G10L17/02 ,  G06Q50/20

Abstract: 本发明公开了一种基于多模态融合的课堂互动分析方法及系统，所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频，对课堂视频预处理；利用声纹识别技术和姿态估计算法处理课堂教学视频，判别说话者身份；设计师生互动行为类别，根据课堂互动行为主体不同进行分类；最后编制互动分析MFIAS编码表，构建多模态融合行为对照表映射特征行为，量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵，提出了一种基于多模态融合的课堂互动分析方法及系统，解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。