一种基于多模态特征对齐的视觉定位方法

    公开(公告)号:CN117934803A

    公开(公告)日:2024-04-26

    申请号:CN202410126014.1

    申请日:2024-01-30

    Abstract: 本发明提供了一种基于多模态特征对齐的视觉定位方法。该方法包括:将图片和对应的指称表达输入到特征提取模块中,分别提取多尺度的网格特征和文本特征,利用Deformable DETR模型和网格特征生成区域特征;将文本特征、区域特征连接后输入到Transformer编码器中生成可学习token;将文本特征和网格特征通过缩放点积注意力操作得到多模态特征;根据多模态特征和可学习token进行目标分割掩码的预测处理,得到预测掩码并将其作为输入数据的视觉定位结果。本发明方法解决了网格特征缺乏对象级信息的问题,增强了特征表示,有效提升了在复杂查询或复杂图片场景下的分割性能。利用混合操作融合全局和局部特征,丰富了多模态特征,有效地实现语义对齐。

    基于层次化上下文引导的多目标跟踪方法

    公开(公告)号:CN116245913A

    公开(公告)日:2023-06-09

    申请号:CN202310117211.2

    申请日:2023-01-30

    Abstract: 本发明提供一种基于层次化上下文引导的多目标跟踪方法,并提出了一种新的分层上下文引导网络,该网络通过分层地视频帧全局处理、局部处理和对象包围框处理来执行检测、包围框特征提取和对象位置细化。该跟踪器分别以全局和局部的方式学习视频帧的时间和空间上下文特征,引导多尺度特征聚合,从而定位感兴趣的区域,提取丰富的包围框特征。这样,每个检测的包围框除了语义信息外,还包含上下文关系信息,减少了不完整或不清楚的对象的重要信息的丢失。基于学习到的上下文特征,设计了一个上下文引导的对象位置细化模块,通过传播对象在每一帧的包围框特征来学习目标对象轨迹片段的代表性特征,并根据代表性特征生成位置细化后的对象。

    一种基于反向注意力网络的单目标跟踪方法

    公开(公告)号:CN117853531A

    公开(公告)日:2024-04-09

    申请号:CN202410036684.4

    申请日:2024-01-10

    Abstract: 本发明提供了一种基于反向注意力网络的单目标跟踪方法。该方法包括:标记视频数据第一帧中的包含跟踪目标位置的边界框,将边界框图像区域作为模板图像,根据模板图像获取下一帧中的搜索域图像;将模板图像和搜索域图像输入到特征提取网络,特征提取网络将模板图像和搜索域图像从三通道彩色图像转化为多通道特征,输出模板特征和搜索域特征;将模板特征和搜索域特征输入堆叠的反向注意力模型,反向注意力模型输出优化后的模板特征和搜索域特征,预测分支根据优化后的模板特征和搜索域特征输出当前帧中的目标位置。本发明方法能够实现抑制模板和搜索域中非目标特征的目标,从而提高模型对目标特征的感知精度以及目标跟踪算法的准确度。

Patent Agency Ranking