本发明揭示了一种基于前景条件概率优化尺度和角度的视觉跟踪方法，属于计算机视觉领域。实现步骤如下：1)读取视频帧序列，利用SiamMask方法计算该帧回归框、分割掩码(前景)以及最小外接框；2)计算最小外接框内前景区域所占的比例；3)当比例小于设定阈值时，计算该帧最小外接框的可靠性；4)根据可靠性的大小选择不同策略优化最小外接框尺度；5)针对尺度优化后的跟踪框的角度进行偏移设置；6)计算各偏移角度旋转框与前景的IoU值；7)跟踪器自适应输出与前景IoU值最大的旋转框。所述视觉跟踪方法，在目标发生运动、旋转、尺度变化等复杂条件下有效提高了目标跟踪的整体性能。