本发明公开了一种基于行为识别的车辆控制方法、装置、设备及存储介质，属于辅助驾驶技术领域。本发明通过预先构建用于对驾驶员行为特征进行识别的神经网络模型，将模型部署于FPGA上并在硬件层面进行适应性调整，以减少神经网络模型对于整体车辆系统的资源需求，在实际的驾驶过程中通过驾驶员的实时图像，确定驾驶员的面部特征和姿态特征，进一步确定驾驶员当前的疲劳状态和驾驶行为，综合车辆实时反馈的行驶报文，确定对应的行驶预案并对车辆进行辅助控制。通过上述方法实现了对驾驶员行为和车辆状态的智能监测和识别，并按照识别结果执行对应的辅助控制预案，提高了驾驶安全性，使得车辆的行驶过程更加智能化。