本发明公开了一种基于时空特征融合学习的目标跟踪方法，涉及计算机视觉及模式识别技术领域。首先构建时空特征融合学习网络，时空特征包括时序特征和空间特征，其中时序特征通过采用Alexnet与时间递归神经网络相结合的方式提取；空间特征又分为目标对象空间变换特征和背景空间特征，分别采用YOLOv3和Alexnet提取。在网络初始训练过程中，使用训练数据集和随机梯度下降法对时空特征融合学习网络进行训练，训练完成后网络即可获得对目标对象进行定位的初始能力。将要跟踪的图像序列输入网络中进行正向处理，网络将输出目标对象包围盒的位置和置信度，其中置信度决定网络是否进行在线学习，而包围盒的位置实现对目标对象的定位，从而实现对目标对象的跟踪。