一种高效的跨摄像头行人双向跟踪方法

    公开(公告)号:CN109359552B

    公开(公告)日:2020-11-13

    申请号:CN201811105659.8

    申请日:2018-09-21

    申请人: 中山大学

    IPC分类号: G06K9/00 G06K9/62 G06T7/246

    摘要: 本发明公开了一种高效的跨摄像头行人双向跟踪方法,用于获取行人在已出现过摄像头中的完整轨迹。包括步骤:(1)从监控视频中获取图像,对图像中的行人进行检测,根据检测结果建立候选行人库;(2)构建行人再识别模型,提取待查行人和候选行人库中所有图像的特征,一一计算待查行人特征与候选行人库中所有图像特征的距离特征,获取待查行人在其他摄像头下的最佳匹配块,并将其作为跟踪的起始位置;(3)进行目标跟踪,跟踪过程中通过正反向处理视频完成对行人的双向跟踪;(4)将不同摄像头下的轨迹进行整合,得到行人最终的轨迹输出。本发明对真实场景下的跨境跟踪具有速度快、精度高的优点,具有很强的工程意义。

    一种基于非对称度量学习的异构行人再识别方法

    公开(公告)号:CN109635728A

    公开(公告)日:2019-04-16

    申请号:CN201811515924.X

    申请日:2018-12-12

    申请人: 中山大学

    IPC分类号: G06K9/00 G06K9/66

    CPC分类号: G06K9/00778 G06K9/66

    摘要: 本发明公开了一种基于非对称度量学习的异构行人再识别方法,该方法将不同模态下的深度特征进行非对称度量,步骤是:使用两个不共享参数的稀疏自编码器分别将不同模态深度特征投影到共享空间,同时引入全局约束和局部约束去约束不同模态深度特征间的距离,使不同模态特征间的类内距离减小和类间距离增加;将全局约束和局部约束的约束结果作为监督信号反向传播到训练网络中用于修正各个参数。本发明通过缩小不同模态间模态差距,使网络尽可能地忽略模态信息而更加关注身份信息,从而提高行人特征表达力和行人匹配精确度。

    一种基于多模态人脸训练的单模态人脸活体检测方法

    公开(公告)号:CN113705400B

    公开(公告)日:2023-08-15

    申请号:CN202110946632.7

    申请日:2021-08-18

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明公开了一种基于多模态人脸训练的单模态人脸活体检测方法,包括:获取输入数据并基于输入数据训练预构建的生成对抗网络,得到训练完成的生成对抗网络,所述预构建的生成对抗网络包括生成器和判别器;基于训练完成的生成对抗网络合成数据集并训练类多模态人脸活体检测模型,得到训练完成的类多模态人脸活体检测模型;获取单模态待测图像;基于生成对抗网络将单模态待测图像扩展为多模态人脸图像,并输入至练完成的多模态人脸活体检测模型进行判别。本发明提高传统单模态人脸活体检测模型性能的同时,还降低了实际场景下的硬件成本。本发明作为一种基于多模态人脸训练的单模态人脸活体检测方法,可广泛应用于计算机视觉领域。

    一种基于非对称度量学习的异构行人再识别方法

    公开(公告)号:CN109635728B

    公开(公告)日:2020-10-13

    申请号:CN201811515924.X

    申请日:2018-12-12

    申请人: 中山大学

    IPC分类号: G06K9/00 G06K9/66

    摘要: 本发明公开了一种基于非对称度量学习的异构行人再识别方法,该方法将不同模态下的深度特征进行非对称度量,步骤是:使用两个不共享参数的稀疏自编码器分别将不同模态深度特征投影到共享空间,同时引入全局约束和局部约束去约束不同模态深度特征间的距离,使不同模态特征间的类内距离减小和类间距离增加;将全局约束和局部约束的约束结果作为监督信号反向传播到训练网络中用于修正各个参数。本发明通过缩小不同模态间模态差距,使网络尽可能地忽略模态信息而更加关注身份信息,从而提高行人特征表达力和行人匹配精确度。

    一种基于多模态人脸训练的单模态人脸活体检测方法

    公开(公告)号:CN113705400A

    公开(公告)日:2021-11-26

    申请号:CN202110946632.7

    申请日:2021-08-18

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明公开了一种基于多模态人脸训练的单模态人脸活体检测方法,包括:获取输入数据并基于输入数据训练预构建的生成对抗网络,得到训练完成的生成对抗网络,所述预构建的生成对抗网络包括生成器和判别器;基于训练完成的生成对抗网络合成数据集并训练类多模态人脸活体检测模型,得到训练完成的类多模态人脸活体检测模型;获取单模态待测图像;基于生成对抗网络将单模态待测图像扩展为多模态人脸图像,并输入至练完成的多模态人脸活体检测模型进行判别。本发明提高传统单模态人脸活体检测模型性能的同时,还降低了实际场景下的硬件成本。本发明作为一种基于多模态人脸训练的单模态人脸活体检测方法,可广泛应用于计算机视觉领域。

    一种高效的跨摄像头行人双向跟踪方法

    公开(公告)号:CN109359552A

    公开(公告)日:2019-02-19

    申请号:CN201811105659.8

    申请日:2018-09-21

    申请人: 中山大学

    IPC分类号: G06K9/00 G06K9/62 G06T7/246

    摘要: 本发明公开了一种高效的跨摄像头行人双向跟踪方法,用于获取行人在已出现过摄像头中的完整轨迹。包括步骤:(1)从监控视频中获取图像,对图像中的行人进行检测,根据检测结果建立候选行人库;(2)构建行人再识别模型,提取待查行人和候选行人库中所有图像的特征,一一计算待查行人特征与候选行人库中所有图像特征的距离特征,获取待查行人在其他摄像头下的最佳匹配块,并将其作为跟踪的起始位置;(3)进行目标跟踪,跟踪过程中通过正反向处理视频完成对行人的双向跟踪;(4)将不同摄像头下的轨迹进行整合,得到行人最终的轨迹输出。本发明对真实场景下的跨境跟踪具有速度快、精度高的优点,具有很强的工程意义。

    一种基于视角解耦自注意力网络的行人重识别方法及系统

    公开(公告)号:CN117975507A

    公开(公告)日:2024-05-03

    申请号:CN202410325409.4

    申请日:2024-03-21

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明公开了一种基于视角解耦自注意力网络的行人重识别方法及系统,该方法包括:构建数据集;基于Vision Transformer Base网络构建视角解耦模型;基于所述数据集对所述视角解耦模型进行训练,得到识别模型;基于所述识别模型对待测数据进行处理,得到识别结果。该系统包括:数据构建模块、模型构建模块、模型训练模块和模型应用模块。通过使用本发明,能够缓解空地相机网络中不同的视角差异对模型提取判别性身份特征的干扰,实现异构视角的相机网络下的行人重识别。本发明可广泛应用于图像处理领域。

    一种基于深度特征正交分解的可见光-近红外行人再识别方法

    公开(公告)号:CN111695470B

    公开(公告)日:2023-05-12

    申请号:CN202010489943.0

    申请日:2020-06-02

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明公开了一种基于深度特征正交分解的可见光‑近红外行人再识别方法,包括:获取训练图像集并提取图像特征,得到全局特征和模态特征;根据全局特征和模态特征进行柱坐标系的特征分解,得到行人身份特征和视角特征;对行人身份特征、视角特征和模态特征计算特征损失函数并根据特征损失函数优化训练模型;基于训练模型对输入图像进行识别。通过使用本发明,可解决现实应用场景中常见的识别率下降的问题,提高行人再识别方法模型的抗干扰和自适应的能力。本发明作为一种基于训练模型对输入图像进行识别方法,可广泛应用于计算机视觉领域。

    基于不确定性二阶自注意力结构模型的小股行人重识别方法

    公开(公告)号:CN115761795A

    公开(公告)日:2023-03-07

    申请号:CN202211363706.5

    申请日:2022-11-02

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明针对现有技术的局限性,提出了一种基于不确定性二阶自注意力结构模型的小股行人重识别方法,基于有限样本,通过模拟成员和布局的变化来挖掘趋于无限的群组结构。成员不确定性将组内成员的数量作为一个截断的高斯分布,而不是一个固定的值,然后通过动态抽样来模拟成员的变化。布局不确定性构造了关于成员位置的随机仿射变换,以扩大训练集中的固定方案。本发明提出了二阶不确定性自注意力结构模型(UMSOT),它提取一阶token作为每个成员的特征,然后根据上述所有一阶token学习一个二阶token作为组特征。UMSOT利用自注意力模型的结构优势,实现了布局特征的显式建模和与外观建模的集成。在CSG、SYSUGroup、RoadGroup和iLIDS‑MCTS 4个数据集上的综合实验充分证明了该方法的优越性。

    基于渐进性的全局-局部特征行人重识别方法及系统

    公开(公告)号:CN114743216A

    公开(公告)日:2022-07-12

    申请号:CN202210297620.0

    申请日:2022-03-25

    申请人: 中山大学

    发明人: 赖剑煌 张权

    摘要: 本发明公开了一种基于渐进性的全局‑局部特征行人重识别方法及系统,包括步骤:步骤1、准备输入数据,输入图片数据,所述图片数据来自随机挑选的行人ID;步骤2、特征提取,提取输入数据的全局特征fg和局部特征fl;步骤3、对所述全局特征fg和局部特征fl计算损失函数,以交叉熵损失函数、困难三元组损失函数和达到最小化为目标去优化训练模型。本文的方法强调两种特征学习时的时序先后性和交互性,在网络模型中先对全局特征进行提取,然后在全局特征的约束下进行局部特征的学习。由于加入了全局特征的约束,缓解了特征内部的语义间隔现象。