本发明提供了一种基于多目标跟踪的异源序列图像配准方法及系统，包括：获取原始异源序列图像；对原始序列图像中的红外和可见光目标进行前景提取；为场景中每个目标初始化跟踪器，完成红外和可见光目标匹配；提取红外和可见光目标前景的曲率尺度空间角点，利用曲率分布描述子完成特征点匹配；基于高斯准则为场景中的所有目标构建全局匹配库及对应的匹配库更新机制，求取全局空间变换矩阵参数；进行多目标跟踪，基于每个目标的跟踪结果，判断目标当前状态，为单个目标分配匹配库并计算单目标空间变换矩阵参数，完成异源序列图像配准。本发明克服了由于多个目标处于不同景深，采用单一全局变换矩阵导致配准精度降低的问题，具有重要的工程应用价值。