-
公开(公告)号:CN110362210B
公开(公告)日:2022-10-11
申请号:CN201910670994.0
申请日:2019-07-24
Applicant: 济南大学
IPC: G06F3/01 , G06V40/20 , G06V40/10 , G06V40/18 , G06V10/764
Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置,根据获取到眼动数据,进行注视点跟踪;根据获取的手势信息,进行手势的识别,对得到的手势识别数据和眼动数据进行标注,构成训练集,构建多流卷积神经网络‑长短期记忆网络模型,所述网络模型利用训练集进行自我学习;将训练得到的最优网络模型应用在虚拟装配过程,获取虚拟装配过程的眼动数据和手势信息,提取眼动与手势特征,根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题,并利用深度学习算法的优势,以较高的准确率识别视频中操作人员的行为,完成虚拟装配任务,实现人机交互。
-
公开(公告)号:CN110077416B
公开(公告)日:2020-12-11
申请号:CN201910376543.6
申请日:2019-05-07
Applicant: 济南大学
IPC: B60W40/09
Abstract: 本公开提供了一种基于决策树的驾驶员意图分析方法及系统,本公开利用车载传感器采集驾驶员在实际驾驶过程中,车速、加速踏板的位移、制动踏板的位移、方向盘的转向角度以及距离路口的实时距离;然后,利用多流卷积神经网络检测驾驶员注视位置,并通过RGB摄像头获取驾驶员头部姿态信息;其次,对以上数据做相应标记后利用SVD降维筛选出关键特征;最后,使用决策树算法对以上采集到的数据进行分析得出驾驶员意图类型,以对汽车进行更好的控制。
-
公开(公告)号:CN110362210A
公开(公告)日:2019-10-22
申请号:CN201910670994.0
申请日:2019-07-24
Applicant: 济南大学
Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置,根据获取到眼动数据,进行注视点跟踪;根据获取的手势信息,进行手势的识别,对得到的手势识别数据和眼动数据进行标注,构成训练集,构建多流卷积神经网络-长短期记忆网络模型,所述网络模型利用训练集进行自我学习;将训练得到的最优网络模型应用在虚拟装配过程,获取虚拟装配过程的眼动数据和手势信息,提取眼动与手势特征,根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题,并利用深度学习算法的优势,以较高的准确率识别视频中操作人员的行为,完成虚拟装配任务,实现人机交互。
-
公开(公告)号:CN110110662A
公开(公告)日:2019-08-09
申请号:CN201910375979.3
申请日:2019-05-07
Applicant: 济南大学
Abstract: 本公开提供了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备,采集驾驶员驾驶视频;对视频进行分帧,识别出包括脸部和眼部的目标区域,截取目标区域并以图片的形式保存;构建双通道卷积神经网络,将眼部图片作为其中一个通道的输入,提取眼部特征;脸部图片作为另一个通道的输入,提取脸部特征;两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果,投入成本低且不需要复杂的模型参数,具有非常好的应用前景。
-
公开(公告)号:CN110077416A
公开(公告)日:2019-08-02
申请号:CN201910376543.6
申请日:2019-05-07
Applicant: 济南大学
IPC: B60W40/09
Abstract: 本公开提供了一种基于决策树的驾驶员意图分析方法及系统,本公开利用车载传感器采集驾驶员在实际驾驶过程中,车速、加速踏板的位移、制动踏板的位移、方向盘的转向角度以及距离路口的实时距离;然后,利用多流卷积神经网络检测驾驶员注视位置,并通过RGB摄像头获取驾驶员头部姿态信息;其次,对以上数据做相应标记后利用SVD降维筛选出关键特征;最后,使用决策树算法对以上采集到的数据进行分析得出驾驶员意图类型,以对汽车进行更好的控制。
-
-
-
-