公开(公告)号：CN118982561A

公开(公告)日：2024-11-19

申请号：CN202411118063.7

申请日：2024-08-15

Applicant: 东南大学

Inventor： 杨万扣 ,  许溢鑫 ,  张文康 ,  曹向辉 ,  程子楠

IPC: G06T7/246 ,  G06N3/0455 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V20/40 ,  G06N3/047 ,  G06V10/764

Abstract: 本发明公开了一种基于Transformer的高性能目标跟踪方法，旨在优化边缘计算设备上的跟踪应用。包含以下步骤：步骤1，获取图像并裁剪，从视频流中提取图像帧，裁剪得到模板图像和搜索区域图像；步骤2，构建一个模板分支可分离的层级式Transformer网络架构；步骤3，模板图像编码，将模板图像输入模板分支的Transformer编码器，并缓存其深度特征；步骤4，搜索区域图像编码，将缓存的模板特征和搜索图像输入搜索区域分支的Transformer编码器，得到多尺度特征注意力图；步骤5，自适应融合多尺度特征，将融合后的特征送入Head网络中，确定目标位置。通过上述步骤，本发明提出的方法利用Transformer网络的强大特征提取和注意力机制，实现了高性能的目标跟踪，适用于计算资源受限的边缘计算设备。