本发明公开了一种基于深度学习的端到端车牌识别系统及其方法，主要涉及图像定位和图像识别模块，在原有基于卷积神经网络的检测模型上扩展多尺度检测的深度，提升车牌对于小物体的定位精度；另外，本文还利用双向门控循环单元与基于神经网络的时序类分类算法优化识别网络，完成对已定位车牌的无字符分割的识别任务，简化系统识别流程，提升了网络的收敛速度和识别准确率，同时对训练图片进行随机变化，以提高模型训练的有效性。相比于传统的车牌识别方法，本发明中提及的方法提高了复杂场景下的车牌识别速度和准确率，且鲁棒性较好。