权重优化下的局部多尺度特征融合的驾驶员行为识别方法

    公开(公告)号:CN114882478B

    公开(公告)日:2023-08-22

    申请号:CN202210294364.X

    申请日:2022-03-24

    申请人: 淮阴工学院

    摘要: 本发明公开了一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法,首先用YOLOv5对驾驶员进行检测,得到驾驶人体检测框相对位置信息;将原图片送入ResNet50中进行特征提取,在主干网络ResNet50的三个不同尺度利用驾驶人相对位置信息进行ROI+Pooling操作,得到三个不同尺度的驾员人体的特征,并进行重复多尺度特征融合;最后将Resnet最终得到的全局特征与多尺度特征融合后的驾驶员人体特征进行权重优化策略后结合,通过Softmax层预测相应的类别。本发明在结合目标检测和局部多尺度重复融合结构充分提取人体特征的同时,也兼顾了全局背景对预测产生的效应;在复杂驾驶环境下的检测效果良好,准确度高,具有较好的鲁棒性。

    权重优化下的局部多尺度特征融合的驾驶员行为识别方法

    公开(公告)号:CN114882478A

    公开(公告)日:2022-08-09

    申请号:CN202210294364.X

    申请日:2022-03-24

    申请人: 淮阴工学院

    摘要: 本发明公开了一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法,首先用YOLOv5对驾驶员进行检测,得到驾驶人体检测框相对位置信息;将原图片送入ResNet50中进行特征提取,在主干网络ResNet50的三个不同尺度利用驾驶人相对位置信息进行ROI+Poing操作,得到三个不同尺度的驾员人体的特征,并进行重复多尺度特征融合;最后将Resnet最终得到的全局特征与多尺度特征融合后的驾驶员人体特征进行权重优化策略后结合,通过Softmax层预测相应的类别。本发明在结合目标检测和局部多尺度重复融合结构充分提取人体特征的同时,也兼顾了全局背景对预测产生的效应;在复杂驾驶环境下的检测效果良好,准确度高,具有较好的鲁棒性。