公开(公告)号：CN110705379A

公开(公告)日：2020-01-17

申请号：CN201910861618.X

申请日：2019-09-12

Applicant: 广州大学

Inventor： 朱静 ,  陈明希 ,  尹邦政 ,  杨盛元 ,  邓海燕 ,  钟长岳 ,  庄裕荃 ,  李浩明

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明为基于多标签学习的卷积神经网络的人脸表情识别方法，首先从视频中获取人脸图像，下载FER人脸数据集，并利用众包资源，对FER数据集进行重新标注，形成概率分布，并将其分类成多种表情，得到FER+人脸数据集；对在视频中获取到的人脸图像进行预处理；建立可用于多种表情识别的多标签学习的卷积神经网络模型；定义损失函数，利用反向传播算法和梯度下降法训练所述模型，迭代多次；保存所述模型，输入测试集的图像对所述模型进行测试；使用所述模型对预处理后的人脸图像进行特征提取，得到人脸图像的特征并利用分类器对人脸图像特征进行分类识别，得到表情识别结果。本发明提高了人脸表情识别的准确率，简化了步骤。

公开(公告)号：CN109822582A

公开(公告)日：2019-05-31

申请号：CN201910004290.X

申请日：2019-01-03

Applicant: 广州大学

Inventor： 朱静 ,  叶家杰 ,  谭韵桐 ,  尹邦政 ,  王茹皓 ,  钟长岳

IPC: B25J11/00 ,  B25J19/02 ,  B25J9/16 ,  B25J13/08

Abstract: 本发明公开了一种基于ROS的家庭服务机器人，该机器人包括清洁移动平台，躯干，三自由度双臂和二自由度头部，清洁移动平台上装有操作系统为ROS的Linux主机、激光雷达、惯性测量单元、行走组件和清洁组件，二自由度头部包括显示屏、深度相机、麦克风模块和触觉传感器。该机器人通过激光雷达对未知环境构建三维地图，利用ROS的轨迹规划库，在环境中按照要求进行清洁轨迹规划与优化，躲避动、静态障碍；通过头部的显示屏、深度相机和麦克风模块进行人机交互，深度相机获取人的肢体动作信息，头部的触觉传感器能感知是否有人触碰，三自由度双臂能实现类似人类双臂前后上下摆动，能满足家庭娱乐需求，提高了该机器人的智能性与多功能性。

公开(公告)号：CN112183238A

公开(公告)日：2021-01-05

申请号：CN202010948012.2

申请日：2020-09-10

Applicant: 广州大学

Inventor： 朱静 ,  王茹皓 ,  尹邦政 ,  杨盛元 ,  黄朗 ,  钟长岳 ,  李浩明 ,  明家辉

IPC: G06K9/00 ,  G06Q50/20

Abstract: 本发明公开了一种远程教育注意力检测方法及系统，该方法的步骤为：采集面部图像；对采集到的面部图像进行图像预处理，进行高斯滤波后将图像从RGB图像转换为灰度图；框选面部特征，通过人脸识别算法识别到人脸特征值，进行特征值匹配验证；构建人脸实时情绪分类系统；标注人脸特征点，根据特征点之间的几何距离，计算嘴巴张开程度、眼睛张开程度；预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开第二阈值，判定注意力状态处于专注或者分心；设置间隔时间采集面部图像，注意力状态判定为分心时反馈提示。本发明设置了实时注意力检测，检测学生学习的注意力状态，辅助提高远程教育的学习效果，达到智能教学目的。

公开(公告)号：CN112183238B

公开(公告)日：2024-01-05

申请号：CN202010948012.2

申请日：2020-09-10

Applicant: 广州大学

Inventor： 朱静 ,  王茹皓 ,  尹邦政 ,  杨盛元 ,  黄朗 ,  钟长岳 ,  李浩明 ,  明家辉

IPC: G06V40/16 ,  G06V40/20 ,  G06Q50/20

Abstract: 本发明公开了一种远程教育注意力检测方法及系统，该方法的步骤为：采集面部图像；对采集到的面部图像进行图像预处理，进行高斯滤波后将图像从RGB图像转换为灰度图；框选面部特征，通过人脸识别算法识别到人脸特征值，进行特征值匹配验证；构建人脸实时情绪分类系统；标注人脸特征点，根据特征点之间的几何距离，计算嘴巴张开程度、眼睛张开程度；预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开第二阈值，判定注意力状态处于专注或者分心；设置间隔时间采集面部图像，注意力状态判定为分心时反馈提示。本发明设置了实时注意力检测，检测学生学习的注意力状态，辅助提高远程教育的学习效果，达到智能教学目的。

公开(公告)号：CN109822582B

公开(公告)日：2021-04-02

申请号：CN201910004290.X

申请日：2019-01-03

Applicant: 广州大学

Inventor： 朱静 ,  叶家杰 ,  谭韵桐 ,  尹邦政 ,  王茹皓 ,  钟长岳

IPC: B25J11/00 ,  B25J19/02 ,  B25J9/16 ,  B25J13/08

Abstract: 本发明公开了一种基于ROS的家庭服务机器人，该机器人包括清洁移动平台，躯干，三自由度双臂和二自由度头部，清洁移动平台上装有操作系统为ROS的Linux主机、激光雷达、惯性测量单元、行走组件和清洁组件，二自由度头部包括显示屏、深度相机、麦克风模块和触觉传感器。该机器人通过激光雷达对未知环境构建三维地图，利用ROS的轨迹规划库，在环境中按照要求进行清洁轨迹规划与优化，躲避动、静态障碍；通过头部的显示屏、深度相机和麦克风模块进行人机交互，深度相机获取人的肢体动作信息，头部的触觉传感器能感知是否有人触碰，三自由度双臂能实现类似人类双臂前后上下摆动，能满足家庭娱乐需求，提高了该机器人的智能性与多功能性。