一种基于模态交互网络的多模态单目标跟踪方法

    公开(公告)号:CN117911920A

    公开(公告)日:2024-04-19

    申请号:CN202410055599.2

    申请日:2024-01-15

    Abstract: 本发明提供了一种基于模态交互网络的多模态单目标跟踪方法。该方法包括:构建多模态跟踪网络架构,将训练数据集中的有标注的RGB视频序列以及对应的辅助模态视频序列作为多模态跟踪网络架构的输入数据,利用模态表示模块在不同模态间实现多尺度融合,利用联合特征处理模块对不同的模态进行特征提取融合处理,利用记忆查询模块建立当前目标特征和历史目标特征之间的长距离依赖关系,得到训练好的多模态跟踪网络架构;将待进行目标跟踪的有标注的RGB视频序列以及对应的辅助模态视频序列输入到训练好的多模态跟踪网络架构,本发明通过设计独特的多模态跟踪网络架构,通过模态间交互和融合,提取更具判别力的特征,增强跟踪过程中的稳定性和准确性。

    一种基于异构图网络的多目标跟踪方法

    公开(公告)号:CN112001252B

    公开(公告)日:2024-04-12

    申请号:CN202010712454.7

    申请日:2020-07-22

    Abstract: 本发明提供一种基于异构图网络的多目标跟踪方法,应用于多目标跟踪中。首先使用目标检测算法得到目标检测框,然后使用光流计算和线性回归操作进行视频帧之间的数据关联。为了解决目标遮挡问题,该模型在数据关联之后使用异构图网络提取检测框和跟踪目标的特征进行相似性度量,判断新出现的检测框是否属于已有的目标。异构图网络包括外观特征提取,空间关系提取和时间关系提取三部分,用于学习判别性特征,以进行目标的外观、空间位置及时间关系等信息的编码,提高特征的表示能力和判别能力,从而提高多目标跟踪的性能。

    行人重识别系统及方法
    3.
    发明授权

    公开(公告)号:CN109800710B

    公开(公告)日:2021-04-06

    申请号:CN201910049231.4

    申请日:2019-01-18

    Abstract: 本发明提供一种行人重识别系统及方法,属于行人重识别技术领域。该系统通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构,得到对应的重构矩阵;结合注意力机制提取各重构矩阵中的特征向量;计算所述特征向量的分类损失结果和验证损失结果;根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛,若收敛,则计算不同重构矩阵的特征向量之间的差异度,若差异度大于设定的阈值,则不属于同一行人,若差异度小于设定的阈值,则属于同一行人。本发明使用重构子网络对图像进行重构以提高图像清晰度,使用多任务损失函数拉近相同个体之间的距离,从而提高了网络的特征表示能力和判别能力,提高行人重识别准确率。

    一种跨多目标域行人重识别方法

    公开(公告)号:CN111291705A

    公开(公告)日:2020-06-16

    申请号:CN202010111738.0

    申请日:2020-02-24

    Abstract: 本发明提供了一种跨多目标域行人重识别方法,首先使用分布对齐模型对源域、目标域的图片进行域对齐和场景对齐操作,从而使域对齐的图片和场景对齐的图片分布与目标域的图片分布一致,提高基于属性编码的行人重识别模型准确率;将域对齐图片的识别视为分类任务,将域对齐的图片结合对应的摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用交叉熵损失优化模型参数,将场景对齐的识别视为度量任务,将场景对齐的图片结合摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用难采样三元组损失优化模型参数。本发明中分布对齐模型和基于属性编码的基于属性编码的行人重识别模型单独训练,分别优化,进而提高行人重识别的准确率。

    行人重识别系统及方法
    5.
    发明公开

    公开(公告)号:CN109800710A

    公开(公告)日:2019-05-24

    申请号:CN201910049231.4

    申请日:2019-01-18

    Abstract: 本发明提供一种行人重识别系统及方法,属于行人重识别技术领域。该系统通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构,得到对应的重构矩阵;结合注意力机制提取各重构矩阵中的特征向量;计算所述特征向量的分类损失结果和验证损失结果;根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛,若收敛,则计算不同重构矩阵的特征向量之间的差异度,若差异度大于设定的阈值,则不属于同一行人,若差异度小于设定的阈值,则属于同一行人。本发明使用重构子网络对图像进行重构以提高图像清晰度,使用多任务损失函数拉近相同个体之间的距离,从而提高了网络的特征表示能力和判别能力,提高行人重识别准确率。

    基于层次化上下文引导的多目标跟踪方法

    公开(公告)号:CN116245913A

    公开(公告)日:2023-06-09

    申请号:CN202310117211.2

    申请日:2023-01-30

    Abstract: 本发明提供一种基于层次化上下文引导的多目标跟踪方法,并提出了一种新的分层上下文引导网络,该网络通过分层地视频帧全局处理、局部处理和对象包围框处理来执行检测、包围框特征提取和对象位置细化。该跟踪器分别以全局和局部的方式学习视频帧的时间和空间上下文特征,引导多尺度特征聚合,从而定位感兴趣的区域,提取丰富的包围框特征。这样,每个检测的包围框除了语义信息外,还包含上下文关系信息,减少了不完整或不清楚的对象的重要信息的丢失。基于学习到的上下文特征,设计了一个上下文引导的对象位置细化模块,通过传播对象在每一帧的包围框特征来学习目标对象轨迹片段的代表性特征,并根据代表性特征生成位置细化后的对象。

    一种跨多目标域行人重识别方法

    公开(公告)号:CN111291705B

    公开(公告)日:2024-04-19

    申请号:CN202010111738.0

    申请日:2020-02-24

    Abstract: 本发明提供了一种跨多目标域行人重识别方法,首先使用分布对齐模型对源域、目标域的图片进行域对齐和场景对齐操作,从而使域对齐的图片和场景对齐的图片分布与目标域的图片分布一致,提高基于属性编码的行人重识别模型准确率;将域对齐图片的识别视为分类任务,将域对齐的图片结合对应的摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用交叉熵损失优化模型参数,将场景对齐的识别视为度量任务,将场景对齐的图片结合摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用难采样三元组损失优化模型参数。本发明中分布对齐模型和基于属性编码的基于属性编码的行人重识别模型单独训练,分别优化,进而提高行人重识别的准确率。

    一种遥感图像目标检测方法

    公开(公告)号:CN111339950B

    公开(公告)日:2024-01-23

    申请号:CN202010122264.X

    申请日:2020-02-27

    Abstract: 本发明提供了一种遥感图像目标检测方法基于图像语义特征来设计锚框,借助特征的强大表达力来使锚框生成阶段既高效又精准。通过中心预测分支和形状预测分支预测锚框的位置及大小,所采用的瓶颈结构扩大特征相对于原图的感受野,增强小目标检测能力。本发明不仅解决了遥感图像目标多尺度问题,而且对小目标有较好的检测性能;本发明提供的方法基于图像语义特征来设计锚框,借助特征的强大表达力来使锚框生成阶段既高效又精准;通过中心预测分支和形状预测分支预测锚框的位置及大小,所采用的瓶颈结构扩大特征相对于原图的感受野,增强小目标检测能力;本发明中提供的模型提升了对多种数据集中多尺度目标的适应性,增强了泛化

    一种基于异构图网络的多目标跟踪方法

    公开(公告)号:CN112001252A

    公开(公告)日:2020-11-27

    申请号:CN202010712454.7

    申请日:2020-07-22

    Abstract: 本发明提供一种基于异构图网络的多目标跟踪方法,应用于多目标跟踪中。首先使用目标检测算法得到目标检测框,然后使用光流计算和线性回归操作进行视频帧之间的数据关联。为了解决目标遮挡问题,该模型在数据关联之后使用异构图网络提取检测框和跟踪目标的特征进行相似性度量,判断新出现的检测框是否属于已有的目标。异构图网络包括外观特征提取,空间关系提取和时间关系提取三部分,用于学习判别性特征,以进行目标的外观、空间位置及时间关系等信息的编码,提高特征的表示能力和判别能力,从而提高多目标跟踪的性能。

Patent Agency Ranking