公开(公告)号：CN117011342A

公开(公告)日：2023-11-07

申请号：CN202311030290.X

申请日：2023-10-07

Applicant: 南京信息工程大学

Inventor： 徐晗 ,  郑钰辉

IPC: G06T7/246 ,  G06T7/207 ,  G06V20/40 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/54 ,  G06V10/74 ,  G06V10/62 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种注意力增强的时空Transformer单目标跟踪方法，首先，使用主干网络提取图像特征；而后将提取的特征进行预处理，并输入到编码增强层，通过增强的自注意力机制来强化原始的特征信息；接着，解码器层会使用目标定位和编码增强层的输出作为输入，计算特征的相似度分数，并输出关联概率图；接着使用多步动态更新策略，判断是否更新动态模板与源域模板图像；最后预测头通过计算角点概率分布的期望得到预测框坐标，画出目标位置。本发明使用的网络完全基于Transformer架构，并对编码层的自注意力机制进行了增强，抑制关联计算导致的噪声和模糊；使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。

公开(公告)号：CN117011342B

公开(公告)日：2024-06-25

申请号：CN202311030290.X

申请日：2023-10-07

Applicant: 南京信息工程大学

Inventor： 徐晗 ,  郑钰辉

IPC: G06T7/246 ,  G06T7/207 ,  G06V20/40 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/54 ,  G06V10/74 ,  G06V10/62 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种注意力增强的时空Transformer单目标跟踪方法，首先，使用主干网络提取图像特征；而后将提取的特征进行预处理，并输入到编码增强层，通过增强的自注意力机制来强化原始的特征信息；接着，解码器层会使用目标定位和编码增强层的输出作为输入，计算特征的相似度分数，并输出关联概率图；接着使用多步动态更新策略，判断是否更新动态模板与源域模板图像；最后预测头通过计算角点概率分布的期望得到预测框坐标，画出目标位置。本发明使用的网络完全基于Transformer架构，并对编码层的自注意力机制进行了增强，抑制关联计算导致的噪声和模糊；使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。