一种基于多模态融合的课堂互动分析方法及系统

    公开(公告)号:CN114970701B

    公开(公告)日:2024-11-15

    申请号:CN202210539253.0

    申请日:2022-05-18

    Abstract: 本发明公开了一种基于多模态融合的课堂互动分析方法及系统,所述的教学行为分析系统包括音视频关键帧提取系统、帧特征分析系统、行为判别系统、结果分析系统。具体包括获取课堂教学视频,对课堂视频预处理;利用声纹识别技术和姿态估计算法处理课堂教学视频,判别说话者身份;设计师生互动行为类别,根据课堂互动行为主体不同进行分类;最后编制互动分析MFIAS编码表,构建多模态融合行为对照表映射特征行为,量化分析课堂教学互动行为。本发明实现全面细致分析课堂师生互动行为的丰富内涵,提出了一种基于多模态融合的课堂互动分析方法及系统,解决采用人工方式对课堂视频进行反馈分析结果受主观因素影响大、过程操作复杂等问题。

    一种面部表情识别方法和系统

    公开(公告)号:CN114155572A

    公开(公告)日:2022-03-08

    申请号:CN202111302276.1

    申请日:2021-11-04

    Abstract: 本发明公开了一种面部表情识别方法及系统,属于表情识别技术领域,包括:视频数据处理得到人脸图像帧数据集;将各人脸图像帧输入到残差网络提取面部表情纹理特征和局部细腻度特征;将面部表情纹理特征输入特征金字塔模块获得多尺度立体空间特征,将其叠加局部细腻度特征,得到多尺度及空间上下文特征;将多尺度及空间上下文特征输入双重级联模块获得全局关键空间域上下文特征;将全局关键空间域上下文特征输入循环神经网络,提取包含时间特征的多重上下文特征;将多重上下文特征输入到全连接层,对面部表情进行分类识别。本发明能够有效提高面部表情识别的准确率。

    一种头部姿态定位与检测方法及其应用和系统

    公开(公告)号:CN113887329A

    公开(公告)日:2022-01-04

    申请号:CN202111064167.0

    申请日:2021-09-10

    Abstract: 本发明公开了一种头部姿态定位与检测方法及其应用和系统。其中,该头部姿态定位与检测方法包括如下步骤:获取待测头部姿态的图像集,并将图像集中的所有图像进行标准亮度转换;将转换后的所有图像分别利用人物检测模型、头部检测模型得到全身位置信息Pa和头部位置信息Ph,将全身位置信息Pa和头部位置信息Ph输入到预先构建的深度学习卷积神经网络中,转换得到两种位置信息的中间特征Pa^和Ph^;将两种位置信息的中间特征Pa^和Ph^按一定权重进行融合,根据融合后的特征P_site计算得到头部偏转欧拉角。本发明提供的头部姿态定位与检测方法受影响程度小,检测准确;同时还能有效提升模型学习的速率。

    一种非接触式疲劳检测方法及系统

    公开(公告)号:CN113420624A

    公开(公告)日:2021-09-21

    申请号:CN202110652542.7

    申请日:2021-06-11

    Abstract: 本发明提供一种非接触式疲劳检测方法及系统,包括:向待检测者发送毫米波雷达信号,并接收从待检测者反射的回波信号;以确定生命体征信号的时频域特征、非线性特征以及时序特征;获取待检测者的脸部视频图像,基于脸部视频图像进行人脸检测和对齐,以提取待检测者人脸的时域特征和空域特征;将生命体征信号的时频域特征、非线性特征以及时序特征与所述待检测者人脸的时域特征和空域特征融合,得到融合后的特征;将融合后的特征输入到分类器,进行待检测者的疲劳状态识别,判断待检测者是否处于疲劳状态。本发明将两种技术融合从而有效抑制主客观因素的干扰,提高疲劳检测的精度。

    一种校园网免费流量计算方法、系统、服务器及存储介质

    公开(公告)号:CN112491563A

    公开(公告)日:2021-03-12

    申请号:CN202011241790.4

    申请日:2020-11-09

    Abstract: 本发明涉及一种校园网免费流量计算方法、系统、服务器及可读存储介质,本发明通过针对不同账号设置不同的预设免流规则,并通过对终端设备的流量类型进行统计,以实现针对不同账号使用不同类型的免费流量计算策略,解决了现有技术中无法针对校园网实行精细化管理,流量限制过大会影响教师备课,而流量限制过小则起不到规范学生的作用的技术问题,达到了实现校园网精细化管理的技术效果。

    一种面向在线学习社区的学习兴趣发现方法

    公开(公告)号:CN112101039A

    公开(公告)日:2020-12-18

    申请号:CN202010776809.9

    申请日:2020-08-05

    Abstract: 本发明涉及计算机技术自然语言处理领域的文本挖掘技术,提供一种面向在线学习社区的学习兴趣发现方法,包括:采集在线学习社区中学习者生成的多维度行为和文本信息;融合领域知识命名实体词和学习情绪词进行文本分词;基于时序‑情绪‑主题的文本建模算法,挖掘与情绪和时序信息相关的兴趣主题概率分布;基于语义相似度计算方法,鉴别学习者的学习兴趣和非学习兴趣;根据应用场景,输出学习兴趣标签及其权重。本发明方法能有效发现学习者的学习兴趣,并显著提高学习兴趣的可解释性和准确性,有助于为学习者提供个性化的学习服务。

    一种基于校园大数据的学生成绩预测方法

    公开(公告)号:CN111260514A

    公开(公告)日:2020-06-09

    申请号:CN202010036203.1

    申请日:2020-01-14

    Abstract: 本发明涉及教育数据挖掘领域,提供一种基于校园大数据的学生成绩预测方法,包括:(1)数据融合;在智慧校园环境下,以学习者为中心,开展动态的、无侵入式的数据采集,实现学生线上线下、课内课外多维行为数据的汇聚和融合;(2)特征计算;综合利用线性分析、深度学习和非线性分析技术,从行为变化、勤奋度和行为非线性三个方面系统地构建学生多维行为特征体系,深入挖掘学生行为模式及其动态变化;(3)成绩预测;基于机器学习算法,构建高精度的成绩预测模型,为高挂科风险学生群体提供反馈和预警。本发明方法能够科学地、全面地对学生成绩进行预测,对高挂科风险学生提供预警。

    一种面向学生校园卡行为数据构建社交网络的方法

    公开(公告)号:CN111258994A

    公开(公告)日:2020-06-09

    申请号:CN202010022787.7

    申请日:2020-01-09

    Abstract: 本发明属于软件工程技术领域,提供一种面向学生校园卡行为数据构建社交网络的方法,其中将从校园卡获取的行为数据集进行分类,选取了食堂就餐的这一种常规行为,通过数据清洗、处理、分析,利用时空共线的判断方法找到其关系链接,统计其链接强度,当大于阈值的时候,认为这个关系链接是符合朋友关系的链接,从而获得该社交网络中任意用户之间相互关系的真实、可靠的关系,实现整个社交网络的结构构建,利用时空共线的原理和基于统计概率的阈值筛选方法找到的朋友关系是符合实际和预期。

    一种面部表情识别及其模型训练方法

    公开(公告)号:CN118887721A

    公开(公告)日:2024-11-01

    申请号:CN202411015316.8

    申请日:2024-07-26

    Abstract: 本申请公开了一种面部表情识别及其模型训练方法,属于面部表情识别技术领域。本申请首先获取带表情标签的面部图像,对面部图像进行预处理后进行水平翻转;随后将水平翻转前后的图像作为训练数据,再将水平翻转前后的图像空间注意力图之间的重平衡一致性损失、每个训练样本的重平衡焦点损失和交叉熵损失融入损失函数约束面部表情识别模型的训练,得到训练好的面部表情识别模型。最后基于所述面部表情识别模型对输入的面部图像进行表情识别。本申请表情识别方法引入重平衡注意力一致性损失和重平衡焦点损失,由此提升了面部表情识别模型的分类性能,解决了传统面部表情识别对复杂表情识别率低的问题。

    一种面向WiFi日志数据的解析存储搜索方法

    公开(公告)号:CN109902070B

    公开(公告)日:2023-12-12

    申请号:CN201910060016.4

    申请日:2019-01-22

    Abstract: 本发明属于计算机信息技术领域,提供一种面向WiFi日志数据的解析存储搜索方法,包括:件类型、消息类型、消息码、事件码、路由器地址和路由器IP;(2)将解析的数据以键值对的形式保存至MongoDB分布式文件存储数据库;(3)开启Logstash管道将MongoDB数据库复制到Elasticsearch搜索引擎中搜索;(4)按照事务完整性导出MongoDB数据库的数据为二进制JSON文件,并加载到Hadoop平台。本发明方法能够对WiFi日志数据进行有效的解析和存储,同时提高了搜索的效率以及离线计算效率。(1)提取解析WiFi日志的日期、时间、宿主IP、事

Patent Agency Ranking