-
公开(公告)号:CN112396887B
公开(公告)日:2022-01-11
申请号:CN202011161783.3
申请日:2020-10-26
Applicant: 华中科技大学
Abstract: 本发明公开基于声源定位和面部检测的PBL课堂记录方法和系统,属于智能教学领域。包括:将PBL教学过程中采集到的音频数据和视频数据上传至处理服务器;通过定位算法对采集到的音频数据进行处理,估算出不同时刻的音频发言人和音频定位角;对采集到的视频数据抽取I帧和鱼眼图像展开后,采用神经网络检测图像中人脸,采用残差网络对人脸发言状态进行二分类,得到不同时刻的视频发言人和视频定位角;通过音视频角度校准,将音频定位角度和视频定位角度转换到同一坐标系;在音频定位角的误差范围内搜索是否存在视频定位角,对视频定位角赋予权值,由此对音频角度的权值进行再次调整,通过音频定位角和视频定位角的权值幅值相加,得到最终的发言人角度。
-
公开(公告)号:CN112396887A
公开(公告)日:2021-02-23
申请号:CN202011161783.3
申请日:2020-10-26
Applicant: 华中科技大学
Abstract: 本发明公开基于声源定位和面部检测的PBL课堂记录方法和系统,属于智能教学领域。包括:将PBL教学过程中采集到的音频数据和视频数据上传至处理服务器;通过定位算法对采集到的音频数据进行处理,估算出不同时刻的音频发言人和音频定位角;对采集到的视频数据抽取I帧和鱼眼图像展开后,采用神经网络检测图像中人脸,采用残差网络对人脸发言状态进行二分类,得到不同时刻的视频发言人和视频定位角;通过音视频角度校准,将音频定位角度和视频定位角度转换到同一坐标系;在音频定位角的误差范围内搜索是否存在视频定位角,对视频定位角赋予权值,由此对音频角度的权值进行再次调整,通过音频定位角和视频定位角的权值幅值相加,得到最终的发言人角度。
-
公开(公告)号:CN112040256A
公开(公告)日:2020-12-04
申请号:CN202010823496.8
申请日:2020-08-14
Applicant: 华中科技大学
IPC: H04N21/2187 , H04N21/234 , H04N21/233 , H04N21/2368 , H04N21/274
Abstract: 本发明公开了一种直播实验教学过程视频标注方法和系统,属于智能教学领域。包括:分别提取媒体流中的视频信息和音频信息,得到视频流和音频流,媒体流为直播实验教学时实时采集到的符合实验操作人员视角的教学内容;对视频流和音频流分别进行目标识别,同一时间识别结果比对成功后再匹配设备数据库;把匹配到的实验设备信息标注在视频流中对应设备位置后,将标注后视频与原始音频以媒体流的形式进行合成,将标有实验设备信息的媒体流实时推送至学生端。本发明将老师提及的设备信息标注在拍摄到的视频流上,支持对视频中的物品进行实时识别并标注名称,支持自动理解语音上下文,使学生在观看老师实验演示时,能更好地理解每个设备的用途与操作。
-
公开(公告)号:CN111899137A
公开(公告)日:2020-11-06
申请号:CN202010724271.7
申请日:2020-07-24
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于手写时序数据的考试系统和方法,属于智能教学技术领域。考试系统包括智能书写设备和考试管理主机,智能书写设备用于实时采集考生的手写时序数据;考试管理主机包括异常检测模块和异常处理模块。异常检测模块包括笔迹对比子模块、书写量测算子模块和标识校验子模块,分别用于将平时笔迹信息和从手写时序数据中提取的考试笔迹信息进行校对;从手写时序数据中提取的书写量信息进行分析;对考生考号、设备标识号和试卷卷号进行匹配校验。异常处理模块用于当异常检测模块的检测结果标识考试行为异常时,控制智能书写设备关机并提示监考者对异常考试行为进行管控。本申请能够低成本、高效率地对考生异常行为进行监测和管控。
-
公开(公告)号:CN113747258B
公开(公告)日:2022-11-01
申请号:CN202010481642.3
申请日:2020-05-29
Applicant: 华中科技大学
IPC: H04N21/8549 , H04N21/44 , G06F16/951 , G06F16/73 , G06V10/75 , G06V30/19 , G09B5/08 , G09B5/06
Abstract: 本发明公开了一种在线课程视频摘要生成系统和方法,属于视频摘要领域。包括:读取在线课程视频资源,将相应课程视频资源下载并保存在本地;对读取到的在线课程视频,进行抽取关键视频帧的操作;对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选,识别出包含幻灯片的关键帧;对包含幻灯片的关键帧,以视频时间偏移为文件名称保存该幻灯片为缩略图,并对其中的内容进行分析形成摘要。本发明通过对在线课程视频的视频处理,以及文本识别提取技术,自动生成课程视频中幻灯片出现时间点,幻灯片内容概要等信息,形成视频摘要,具有很强的适用性,可用于各类在线课程视频的摘要,对当前学生自主学习的智能化有着较高价值。
-
公开(公告)号:CN112040256B
公开(公告)日:2021-06-11
申请号:CN202010823496.8
申请日:2020-08-14
Applicant: 华中科技大学
IPC: H04N21/2187 , H04N21/234 , H04N21/233 , H04N21/2368 , H04N21/274
Abstract: 本发明公开了一种直播实验教学过程视频标注方法和系统,属于智能教学领域。包括:分别提取媒体流中的视频信息和音频信息,得到视频流和音频流,媒体流为直播实验教学时实时采集到的符合实验操作人员视角的教学内容;对视频流和音频流分别进行目标识别,同一时间识别结果比对成功后再匹配设备数据库;把匹配到的实验设备信息标注在视频流中对应设备位置后,将标注后视频与原始音频以媒体流的形式进行合成,将标有实验设备信息的媒体流实时推送至学生端。本发明将老师提及的设备信息标注在拍摄到的视频流上,支持对视频中的物品进行实时识别并标注名称,支持自动理解语音上下文,使学生在观看老师实验演示时,能更好地理解每个设备的用途与操作。
-
公开(公告)号:CN111899137B
公开(公告)日:2024-05-14
申请号:CN202010724271.7
申请日:2020-07-24
Applicant: 华中科技大学
IPC: G06Q50/20 , G06V40/30 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种基于手写时序数据的考试系统和方法,属于智能教学技术领域。考试系统包括智能书写设备和考试管理主机,智能书写设备用于实时采集考生的手写时序数据;考试管理主机包括异常检测模块和异常处理模块。异常检测模块包括笔迹对比子模块、书写量测算子模块和标识校验子模块,分别用于将平时笔迹信息和从手写时序数据中提取的考试笔迹信息进行校对;从手写时序数据中提取的书写量信息进行分析;对考生考号、设备标识号和试卷卷号进行匹配校验。异常处理模块用于当异常检测模块的检测结果标识考试行为异常时,控制智能书写设备关机并提示监考者对异常考试行为进行管控。本申请能够低成本、高效率地对考生异常行为进行监测和管控。
-
公开(公告)号:CN112040562B
公开(公告)日:2022-04-29
申请号:CN202010768600.8
申请日:2020-08-03
Applicant: 华中科技大学
Abstract: 本申请公开了一种智能笔终端的通信方法、智能笔终端及通信系统,属于智能教学领域,所述通信方法包括:S1、实时采集用户的原始笔迹数据,并将所述原始笔迹数据进行压缩保存得到笔迹存储数据;S2、获取当前待传输的笔迹存储数据对应的时间间隔和新增数据量;S3、当所述时间间隔小于时长阈值或所述数据新增量小于增量阈值时,采用反向散射技术经所述WiFi网关设备向服务端传输携带所述笔迹存储数据的笔迹状态数据;S4、反之,采用WiFi通信技术经所述WiFi网关设备向所述服务端传输所述笔迹存储数据。本申请中的智能笔终端采用反向散射技术与WiFi通信技术配合传输笔迹存储数据,解决了智能笔终端并发通信能力弱、续航时间较短、通信范围小的问题。
-
公开(公告)号:CN112040562A
公开(公告)日:2020-12-04
申请号:CN202010768600.8
申请日:2020-08-03
Applicant: 华中科技大学
Abstract: 本申请公开了一种智能笔终端的通信方法、智能笔终端及通信系统,属于智能教学领域,所述通信方法包括:S1、实时采集用户的原始笔迹数据,并将所述原始笔迹数据进行压缩保存得到笔迹存储数据;S2、获取当前待传输的笔迹存储数据对应的时间间隔和新增数据量;S3、当所述时间间隔小于时长阈值或所述数据新增量小于增量阈值时,采用反向散射技术经所述WiFi网关设备向服务端传输携带所述笔迹存储数据的笔迹状态数据;S4、反之,采用WiFi通信技术经所述WiFi网关设备向所述服务端传输所述笔迹存储数据。本申请中的智能笔终端采用反向散射技术与WiFi通信技术配合传输笔迹存储数据,解决了智能笔终端并发通信能力弱、续航时间较短、通信范围小的问题。
-
公开(公告)号:CN113747258A
公开(公告)日:2021-12-03
申请号:CN202010481642.3
申请日:2020-05-29
Applicant: 华中科技大学
IPC: H04N21/8549 , H04N21/44 , G06F16/951 , G06F16/73 , G06K9/62 , G09B5/08 , G09B5/06
Abstract: 本发明公开了一种在线课程视频摘要生成系统和方法,属于视频摘要领域。包括:读取在线课程视频资源,将相应课程视频资源下载并保存在本地;对读取到的在线课程视频,进行抽取关键视频帧的操作;对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选,识别出包含幻灯片的关键帧;对包含幻灯片的关键帧,以视频时间偏移为文件名称保存该幻灯片为缩略图,并对其中的内容进行分析形成摘要。本发明通过对在线课程视频的视频处理,以及文本识别提取技术,自动生成课程视频中幻灯片出现时间点,幻灯片内容概要等信息,形成视频摘要,具有很强的适用性,可用于各类在线课程视频的摘要,对当前学生自主学习的智能化有着较高价值。
-
-
-
-
-
-
-
-
-