公开(公告)号：CN112699821A

公开(公告)日：2021-04-23

申请号：CN202110005476.4

申请日：2021-01-04

Applicant: 长安大学

Inventor： 房建武 ,  严定鑫 ,  许宏科 ,  席江波 ,  乔嘉欢 ,  贾皓 ,  梁浩权

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于驾驶员视觉注意预测的驾驶预警方法，通过将连续t帧图片输入至多层3维卷积神经网络模型，充分提取视频帧的时空特征，并输入相应的语义图作为辅助引导信息，利用目标物与目标物之间的关系虚拟为节点和边来构建区域关系图graph；利用图卷积网络，对驾驶环境中目标的时空关联关系进行建模，并将该语义关系与视频帧的时空特征融合，利用卷积LSTM网络，来进行信息的传递即将前面帧的关键目标区域转移到最后一帧，得到驾驶员视觉注意力的潜在表示，最后通过注意力图解码模块将驾驶员注意力表示变换得到最终的驾驶员视觉注意力图，有效的确认驾驶员的注意力的视线区域，通过对驾驶员注意力图分析，可以对驾驶员进行安全驾驶预警。