基于RGB-事件的自适应删插帧的高效视觉跟踪方法

    公开(公告)号:CN118691643A

    公开(公告)日:2024-09-24

    申请号:CN202410704578.9

    申请日:2024-06-03

    Applicant: 安徽大学

    Inventor: 王逍 黄菊 江波

    Abstract: 本发明公开了基于RGB‑事件的自适应删插帧的高效视觉跟踪方法,属于事件相机技术领域,包括以下步骤:输入数据;特征提取和关系建模;跟踪头定位目标边界框;自适应的决策模块:将映射层的token embeddings、Transformer编码层的特征、跟踪头的目标边界框拼接在一起输入到决策模块中,得到相应的决策,决策分为三类:不操作,删帧,插帧。通过上述方式,本发明设计了自适应决策模块,通过决策模块的输出,可以自适应地选择RGB数据或者事件流数据作为模型的输入。本发明使得模型能够充分利用不同模态数据的优势,使模型更加灵活地应对不同情况,从而提高跟踪的准确性、稳定性和效率性。

Patent Agency Ranking