本发明提供了一种基于航拍数据的实时车流检测与追踪方法，包括以下步骤：S1、基于弱监督学习的预训练部分，使用弱监督学习的方式训练好一个YOLO网络的预训练模型；S2、基于航拍数据的实时车流检测部分，采用全卷积神经网络以及具有先验信息的多目标框检测方法对YOLO网络的预训练模型进行改进，得到YOLO检测网络。本发明的有益效果是：基于YOLO算法进行改进，采用全卷积神经网络以及具有先验信息的多目标框检测方法，有效地利用了无人机航拍数据集多视角和多分辨率的图像特点进行训练，在不损失太多检测时间的情况下提升了算法的检测准确率，达到了准确率与时间的平衡。