基于多教师联合指导的跨模态目标跟踪方法及系统

    公开(公告)号:CN117011760A

    公开(公告)日:2023-11-07

    申请号:CN202310781686.1

    申请日:2023-06-28

    Applicant: 安徽大学

    Inventor: 李成龙 张梦雅

    Abstract: 本发明公开一种基于多教师联合指导的跨模态目标跟踪方法及系统,方法包括分别使用RGB模态数据样本和NIR模态数据样本对第一教师网络和第二教师网络进行训练,得到第一教师特征学习网络和第二教师特征学习网络;使用包含RGB模态数据和NIR模态数据的混合模态数据样本对学生网络进行训练,并使用第一教师特征学习网络或第二教师特征学习网络对学生网络进行指导;采用三元组损失函数,对学生网络的特征进行约束,得到用于进行跨模态目标跟踪的跟踪器;本发明在减少计算复杂度的同时,有效的解决了跟踪过程中的模态差异问题。

Patent Agency Ranking