基于多策略融合树的可见光红外视觉跟踪方法

    公开(公告)号:CN115018884A

    公开(公告)日:2022-09-06

    申请号:CN202210871982.6

    申请日:2022-07-19

    Applicant: 安徽大学

    Abstract: 本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法,所述方法包括:获取可见光图像样本和热红外图像样本;将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型,目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器,各模态对应的适配器包括多个网络层级;融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中;将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器,预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合,以在复杂场景中获得稳健融合结果。

    一种基于高秩特征和位置注意力的双模态视觉跟踪方法

    公开(公告)号:CN114022516A

    公开(公告)日:2022-02-08

    申请号:CN202111346472.9

    申请日:2021-11-15

    Applicant: 安徽大学

    Abstract: 本发明公开一种基于高秩特征和位置注意力的双模态视觉跟踪方法,提供一种基于高秩特征和位置注意力的双模态视觉跟踪方法,通过在主干网络中引入目标位置注意力模块来关注目标位置信息,并利用高秩指导模块关注重要的通道并指导可见光和热红外特征图的融合,进一步提高目标跟踪的效果,可根据目标结果的成功与否来判断是否更新网络模型。本发明能够更加精确定位目标的位置,同时减少噪声干扰。

    基于跨模态共享和特定表示形式的RGBT目标跟踪方法

    公开(公告)号:CN113077491A

    公开(公告)日:2021-07-06

    申请号:CN202110359997.X

    申请日:2021-04-02

    Applicant: 安徽大学

    Abstract: 本发明公开一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法,对可见光视频和对应的热红外视频进行配准和标注,按照要求将其分成训练集和测试集;利用VGG‑M网络来提取不同模态的模态特定特征,利用共享特征提取模块来提取两个模态之间的模态共享特征,同时在共享特征提取模块中使用多尺度特征融合的策略来增强特征以提高其鲁棒性。本发明在光照变化强烈、夜晚等极端条件下跟踪上目标,通过焦点损失函数使训练的模型更加关注于难以分类的样本,提高模型的鲁棒性。

    一种基于时空线索的跨模态视频显著性检测方法

    公开(公告)号:CN109034001B

    公开(公告)日:2021-06-25

    申请号:CN201810725499.0

    申请日:2018-07-04

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于时空线索的跨模态视频显著性检测方法,获取一对匹配的多模态视频序列帧对,使用SLIC算法对其超像素分割;计算超像素分割图的每个像素点的显著性,选择相似度大的节点作为前景点;通过结合上一阶段的显著值、可见光和热红外两个模态的权重构造显著图;对比相邻前后两帧的显著值计算其空间位置最大重叠比继而找到相邻帧之间的固有关系,得到基于时空的多模态视频显著性结果;利用拉格朗日数乘法对模型进行求解并得出结果。本发明从信息融合的角度出发,通过融合多个互补的视觉模态数据克服低光照、雾霾和杂乱背景等因素的影响,引入了每种模式的权重来表示可靠性,以实现不同源数据的自适应和协同融合。

    一种RGBT目标跟踪模型的训练方法及装置

    公开(公告)号:CN110349185A

    公开(公告)日:2019-10-18

    申请号:CN201910630002.1

    申请日:2019-07-12

    Applicant: 安徽大学

    Abstract: 本发明公开了一种RGBT目标跟踪模型的训练方法及装置,方法包括:1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型,稠密特征聚合模块包括提取可见光图像特征的第一卷积层序列;以及提取热红外图像特征的第二卷积层序列,第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层;除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层,第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中;分类模块包括依次串联的若干层全连接层;2)、使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练跟踪模型,得到目标跟踪模型。本发明实施例可以使目标识别结果更加准确。

    一种基于多适配器的可见光红外视觉跟踪方法及装置

    公开(公告)号:CN110349179A

    公开(公告)日:2019-10-18

    申请号:CN201910630336.9

    申请日:2019-07-12

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于多适配器的可见光红外视觉跟踪方法及装置,方法包括:1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型;2)、使用预先标定好目标的样本视频训练初始识别模型,得到训练后的识别模型,其中,样本视频包括:若干个可见光-热红外光样本视频对;3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。应用本发明实施例,可以达到良好的多模态视频跟踪效果。

    一种监控场景中的运动目标尺度估计方法

    公开(公告)号:CN108846345A

    公开(公告)日:2018-11-20

    申请号:CN201810575278.X

    申请日:2018-06-06

    Applicant: 安徽大学

    Abstract: 本发明公开了一种监控场景中的运动目标尺度估计方法,获取某特定监控场景的少量视频;检测该视频场景中的所有目标,以行人目标为例,获得目标的包围盒;对包围盒数据进行线性拟合,获得场景中目标平均尺度的分布;利用场景中的几何特性分析目标在图像平面上移动时高度的变化规律;利用得到的平均尺度分布和高度的变化规律,得到该特定场景中目标从位置A移动到位置B的高度变化规律;获取某特定目标在该场景图像中的一个位置和对应位置的尺度;利用尺度预测模型及目标的位置和尺度,求得该目标在场景中的尺度分布。利用监控场景的几何特性对场景中目标的尺度进行分析,不依赖于目标的外观,在含有复杂挑战的监控场景下实现鲁棒的尺度自适应跟踪。

Patent Agency Ranking