公开(公告)号：CN118379591A

公开(公告)日：2024-07-23

申请号：CN202410590682.X

申请日：2024-05-13

Applicant: 安徽大学

Inventor： 李成龙 ,  王谦武 ,  朱亚彬

IPC: G06V10/80 ,  G06V10/143 ,  G06V10/62 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/0464

Abstract: 本发明提供了基于可见光热红外融合的多目标跟踪方法，属于深度学习领域，获得当前帧、前一帧的可见光图像和热红外图像；将其和前一帧的热图分别输入卷积神经网络，获得当前帧、前一帧的可见光特征和热红外特征以及前一帧热图特征；以前一帧热图特征为位置条件，进行时间特征融合获得可见光时间特征和热红外时间特征，将可见光时间特征和热红外时间特征相加获得初始多模态特征，与初始多模态特征进行交互，获得增强的模态特定特征和多模态特征，合并，输入前馈神经网络获得细化多模态特征；输入跟踪网络获得跟踪结果，提供基于可见光热红外融合的多目标跟踪系统；融合可见光和热红外模态的时间信息和互补信息，提高复杂环境中多目标跟踪的稳健性。