公开(公告)号：CN117830352A

公开(公告)日：2024-04-05

申请号：CN202311765334.3

申请日：2023-12-19

Applicant: 电子科技大学

Inventor： 张翔 ,  杜柏霖 ,  唐梓皓 ,  刘玉蝶 ,  周茂樟

IPC: G06T7/246 ,  G06N3/0464

Abstract: 本发明公开了一种基于交互时空特征的图神经网络的多目标跟踪方法，包括以下步骤：S1、获取历史样本图像和当前搜索图像，将历史样本图像和当前搜索图像分别输入特征提取网络，得到SFP特征和SFC特征；所述特征提取网络包括相互连接的共享卷积网络和时空图注意力网络；S2、将当前搜索图像依次输入共享卷积网络、最大池化层和反卷积层，得到上下文特征；S3、通过上下文特征网络根据SFP特征、SFC特征和上下文特征生成自适应特征，得到当前搜索图像中每个目标的预测位置，完成多目标跟踪。本发明可以将目标的时空外观建模和目标间的交互以及上下文引导下的自适应学习结合起来，实现鲁棒目标定位与跟踪。

公开(公告)号：CN118608993A

公开(公告)日：2024-09-06

申请号：CN202410655714.X

申请日：2024-05-24

Applicant: 电子科技大学

Inventor： 张翔 ,  刘玉蝶 ,  陈鹏冲 ,  唐梓皓 ,  黄永辉

IPC: G06V20/17 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明提供了一种联合电子地图的机场场面飞行器目标跟踪方法及系统，属于航空技术领域，该方法包括采集机场的电子地图数据以及飞行器视频数据，并对其进行预处理，得到同构地图；结合电子地图的先验结构信息，并利用基于电子地图的代价敏感RPN网络MRPN，获取飞行器目标的外观特征；利用电子地图对飞行器的运动状态进行约束，获取飞行器目标的运动状态预测特征；融合飞行器目标的外观特征和运动状态预测特征，并根据融合结果，通过获取飞行器目标的关联矩阵，得到飞行器目标跟踪轨迹。本发明解决了多目标跟踪场景下目标与环境之间的相互遮挡的问题。

公开(公告)号：CN117765027A

公开(公告)日：2024-03-26

申请号：CN202311792609.2

申请日：2023-12-22

Applicant: 电子科技大学

Inventor： 张翔 ,  唐梓皓 ,  杜柏霖 ,  李廷玉 ,  曾海鑫

IPC: G06T7/246 ,  G06V20/40 ,  G06V10/42 ,  G06V10/44 ,  G06V10/52 ,  G06V10/62 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/086 ,  G06N3/0985

Abstract: 本发明公开了一种基于深度学习的端到端的多飞行器跟踪方法，包括步骤：使用结构相似度算法对机场场面视频中当前帧之前的T帧进行关键帧选择，选择其中与当前帧低层次语义特征差距最大的帧，作为关键帧；将当前帧和关键帧输入动态多尺度空时网络，获取当前帧和关键帧之间的多尺度空时融合特征；将多尺度空时融合特征作为空时相似度估计网络的输入，利用Transformer模型的表示能力获得检测嵌入和跟踪嵌入；并使用深度相似度估计网络生成相似度矩阵；根据相似度矩阵对当前帧中的飞行器目标与关键帧中的飞行器目标进行关联和匹配，计算飞行器轨迹，完成端到端的多飞行器跟踪，本发明充分利用了整个视频帧之间的时序信息。