一种基于深度学习的课堂学生动作识别方法及系统

    公开(公告)号:CN114495232B

    公开(公告)日:2025-01-24

    申请号:CN202210101703.8

    申请日:2022-01-27

    Applicant: 厦门大学

    Abstract: 本发明提供了动作识别技术领域的一种基于深度学习的课堂学生动作识别方法及系统,方法包括:步骤S10、对捕获的课堂视频进行剪辑得到若干个课堂子视频;步骤S20、通过人脸检测算法依次检测各课堂子视频中的人脸,进而将课堂子视频剪辑成若干个人脸子视频;步骤S30、分别提取各人脸子视频的静态特征图片以及动态特征图片,基于各静态特征图片以及动态特征图片构建训练数据集;步骤S40、基于深度学习创建一动作识别模型,利用训练数据集对动作识别模型进行训练;步骤S50、利用训练后的动作识别模型对摄像头捕捉的课堂视频进行实时的动作识别。本发明的优点在于:实现实时、准确的识别学生动作,以及时调整教学策略,进而极大的提升了教学质量。

    一种应用于刑侦的微表情与宏表情片段识别方法

    公开(公告)号:CN112381036B

    公开(公告)日:2024-10-15

    申请号:CN202011343361.8

    申请日:2020-11-26

    Applicant: 厦门大学

    Abstract: 一种应用于刑侦的微表情与宏表情片段识别方法,步骤一:采集犯罪嫌疑人视频信息;步骤二:将视频数据转换成图像数据,并进行人脸定位;步骤三:将人脸视频序列数据分别进行微表情片段和宏表情片段的发现;步骤四:然后将发现的微表情和宏表情片段进行相应的微表情和宏表情的识别,得出结果。本发明通过对犯罪嫌疑人视频中发现微表情和宏表情片段并对其进行识别,可以帮助更好的捕捉宏微表情序列,消除了时间,光照,和头部移动的对结果的影响,有较高的鲁棒性和泛化能力,提高预测精度。

    一种应用于社交机器人的微表情识别方法

    公开(公告)号:CN114708627B

    公开(公告)日:2024-05-31

    申请号:CN202210186949.X

    申请日:2022-02-28

    Applicant: 厦门大学

    Abstract: 本发明公开一种应用于社交机器人的人脸微表情识别方法。步骤一:社交机器人从摄像头获取视觉输入。步骤二:社交机器人的中央处理单元对视觉输入进行人脸定位。步骤三:中央处理单元提取四种光流信息的输入组。步骤四:将输入组传入训练好的分块卷积网络中,得到分类后的微表情状态。步骤五:社交机器人的交互层根据用户不同的微表情状态来进行相应的响应。本发明设计了一个全新的基于深度特征增强的分块卷积网络,提高了微表情识别的泛化性和鲁棒性,并应用于社交机器人,使得社交机器人可以实时地根据用户的微表情状态实施不同的响应方式。

    一种应用于社交机器人的动态延长编码微表情识别方法

    公开(公告)号:CN114973362A

    公开(公告)日:2022-08-30

    申请号:CN202210549594.6

    申请日:2022-05-20

    Applicant: 厦门大学

    Abstract: 本发明公开了一种应用于社交机器人的动态延长编码微表情识别方法,属于微表情领域;所述方法包括如下步骤:S1、对数据集中的数据进行增强扩充数据量并预处理;S2、搭建表情识别模型并利用S1中的数据集进行训练;S3、将步骤S2中训练后的表情识别模型进行优化调整;S4、输出最终的表情识别模型;本发明方法构建表情识别模型为基于一个标准卷积神经网络的实时CNN,有四个residual模块,每一个卷积均有一个BatchNormalization和Relu处理,末尾的卷积层也添加了全局平均池化层和softmax层;此架构包含大约六万个参数,是基本模型的十分之一;经过测试,系统在自闭症患儿数据集上的准确率达到70%,改进后的模型相较于之前获得了更高的识别精度。

    一种应用于刑侦的微表情与宏表情片段识别方法

    公开(公告)号:CN112381036A

    公开(公告)日:2021-02-19

    申请号:CN202011343361.8

    申请日:2020-11-26

    Applicant: 厦门大学

    Abstract: 一种应用于刑侦的微表情与宏表情片段识别方法,步骤一:采集犯罪嫌疑人视频信息;步骤二:将视频数据转换成图像数据,并进行人脸定位;步骤三:将人脸视频序列数据分别进行微表情片段和宏表情片段的发现;步骤四:然后将发现的微表情和宏表情片段进行相应的微表情和宏表情的识别,得出结果。本发明通过对犯罪嫌疑人视频中发现微表情和宏表情片段并对其进行识别,可以帮助更好的捕捉宏微表情序列,消除了时间,光照,和头部移动的对结果的影响,有较高的鲁棒性和泛化能力,提高预测精度。

    一种应用于社交机器人的微表情识别方法

    公开(公告)号:CN114708627A

    公开(公告)日:2022-07-05

    申请号:CN202210186949.X

    申请日:2022-02-28

    Applicant: 厦门大学

    Abstract: 本发明公开一种应用于社交机器人的人脸微表情识别方法。步骤一:社交机器人从摄像头获取视觉输入。步骤二:社交机器人的中央处理单元对视觉输入进行人脸定位。步骤三:中央处理单元提取四种光流信息的输入组。步骤四:将输入组传入训练好的分块卷积网络中,得到分类后的微表情状态。步骤五:社交机器人的交互层根据用户不同的微表情状态来进行相应的响应。本发明设计了一个全新的基于深度特征增强的分块卷积网络,提高了微表情识别的泛化性和鲁棒性,并应用于社交机器人,使得社交机器人可以实时地根据用户的微表情状态实施不同的响应方式。

    一种基于深度学习的课堂学生动作识别方法及系统

    公开(公告)号:CN114495232A

    公开(公告)日:2022-05-13

    申请号:CN202210101703.8

    申请日:2022-01-27

    Applicant: 厦门大学

    Abstract: 本发明提供了动作识别技术领域的一种基于深度学习的课堂学生动作识别方法及系统,方法包括:步骤S10、对捕获的课堂视频进行剪辑得到若干个课堂子视频;步骤S20、通过人脸检测算法依次检测各课堂子视频中的人脸,进而将课堂子视频剪辑成若干个人脸子视频;步骤S30、分别提取各人脸子视频的静态特征图片以及动态特征图片,基于各静态特征图片以及动态特征图片构建训练数据集;步骤S40、基于深度学习创建一动作识别模型,利用训练数据集对动作识别模型进行训练;步骤S50、利用训练后的动作识别模型对摄像头捕捉的课堂视频进行实时的动作识别。本发明的优点在于:实现实时、准确的识别学生动作,以及时调整教学策略,进而极大的提升了教学质量。

    基于注意力机制的多视图关系网络图表问答方法及系统

    公开(公告)号:CN115329079A

    公开(公告)日:2022-11-11

    申请号:CN202210964075.6

    申请日:2022-08-11

    Applicant: 厦门大学

    Abstract: 本发明提出了一种基于注意力机制的多视图关系网络图表问答方法,该方法包括如下步骤:S1、获取所需处理的数据集;S2、将所述数据集中的图表图像以及对应的文本问题作为输入项分别输入;S3、配置融合推理算法模型输出最后的结果。通过改进传统关系网络的图像编码器模型,引入有效的transformer注意力模型CoT模块,解决了RN对图像特征信息的提取能力有限的问题;提出新颖的多视图关系模块,基于像素点和通道信息改进配对的过程,解决了RN将所有特征向量对视为同等重要,而没有突显更为有效的关系图像特征对作用的问题,和传统RN配对过程会被忽略图像每个通道的整体信息的问题。

Patent Agency Ranking