公开(公告)号：CN118968554A

公开(公告)日：2024-11-15

申请号：CN202411036030.8

申请日：2024-07-31

Applicant: 苏州大学

Inventor： 程诚 ,  刘星 ,  贾科航 ,  吴洪状 ,  陈涛 ,  张羽鑫 ,  杨刘军 ,  邹杰 ,  黄广维 ,  王鹏寰 ,  王宇 ,  夏雨辰

IPC: G06V40/10 ,  A61B5/11 ,  G06V40/16 ,  G06V40/20 ,  G06V10/26 ,  G06V10/30 ,  G06V10/764 ,  G06V10/82 ,  G06V10/10 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了一种基于坐姿信息与行为数据辅助面部表情识别的工作疲劳情况检测方法及系统，包括：实时获取人体坐姿和面部的RGB视频图像信息；对单帧图像进行分割，获取序列坐姿图像和面部图像；获取包含坐姿图像和面部图像特征的空间流特征向量和时序流特征向量；对空间流特征向量和时序流特征向量进行拼接得到面部特征向量和坐姿特征向量；将坐姿特征向量输入到预先训练好的DNN模型中进行坐姿分类，得到坐姿分类结果；将坐姿分类结果输入进全连接层获得坐姿分类特征向量；将面部特征向量、坐姿分类特征向量和行为数据特征向量拼接输入到DNN模型进行疲劳多任务检测分类，得到疲劳分类结果。本发明具有高精度、高可靠性和成本低的特点。