本发明提供了一种基于无人机的违章识别系统，其包括无人机和控制中心，所述无人机用于获取高速公路的路面交通图像，并传输至控制中心；所述控制中心用于对所述路面交通图像进行识别，判断所述路面交通图像是否存在违章行为，若所述路面交通图像存在违章行为，则将违章行为的类型、违章行为对应的违章车辆的信息以及所述路面交通图像进行存储。通过使用无人机来对高速公路的违章行为进行识别，效率高，视野广阔，能在没有检测点的路段进行违章识别，可以有效地减少现有技术中存在的识别盲区，有利于及时发现违章行为，并对违章行为进行处理，从而更好地保护高速公路的同行效率以及同行安全。