本发明公开了一种基于模型互更新的双模图像决策级融合跟踪方法。本发明针对红外与可见光图像的特点，首先提取红外与可见光图像的特征描述向量，使其能提供互补信息，增加图像的信息量描述。之后采用Gentle Adaboost学习算法分别建立红外与可见光图像两个分类器模型，将跟踪问题转化为目标与背景的二分类问题。然后在半监督学习框架下协同训练，同时进行模型互更新，有效避免了模型误差累积问题。并利用训练结果和它们各自的置信度进行决策级融合得到最终的似然图像，最后通过均值漂移算法在最终的似然图像中定位目标位置。本发明能有效避免模型误差累积和单模图像描述目标信息局限性而导致的跟踪丢失问题，提高了跟踪的鲁棒性。