-
公开(公告)号:CN116912727A
公开(公告)日:2023-10-20
申请号:CN202310669142.6
申请日:2023-06-07
Applicant: 北京交通大学
IPC: G06V20/40 , G06V40/20 , G06V10/774 , G06V10/82 , G06V10/42 , G06V10/80 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种基于时空特征增强网络的视频人体行为识别方法。该方法包括:将训练视频数据的帧图像输入到视频人体行为识别模型中,通过局部时空特征增强模块提取出帧图像中的帧级别运动的局部时空特征,利用全局时空特征增强模块获取帧图像中的视频级运动的全局时空特征,通过多特征融合模块融合局部时空特征和全局时空特征,将得到的最终的特征表示输入到全连接层,全连接层输出视频数据中的人体行为识别结果;当重复执行上述处理过程迭代训练视频人体行为识别模型达到设定次数后,得到训练好的视频人体行为识别模型,利用训练好的视频人体行为识别模型对待检测的视频数据进行人体行为识别。本发明方法可以高效地从视频中识别出行人的行为。
-
公开(公告)号:CN116245913A
公开(公告)日:2023-06-09
申请号:CN202310117211.2
申请日:2023-01-30
Applicant: 北京交通大学 , 艾弗世(苏州)专用设备股份有限公司
IPC: G06T7/246 , G06V10/82 , G06N3/08 , G06N3/0464 , G06V20/40
Abstract: 本发明提供一种基于层次化上下文引导的多目标跟踪方法,并提出了一种新的分层上下文引导网络,该网络通过分层地视频帧全局处理、局部处理和对象包围框处理来执行检测、包围框特征提取和对象位置细化。该跟踪器分别以全局和局部的方式学习视频帧的时间和空间上下文特征,引导多尺度特征聚合,从而定位感兴趣的区域,提取丰富的包围框特征。这样,每个检测的包围框除了语义信息外,还包含上下文关系信息,减少了不完整或不清楚的对象的重要信息的丢失。基于学习到的上下文特征,设计了一个上下文引导的对象位置细化模块,通过传播对象在每一帧的包围框特征来学习目标对象轨迹片段的代表性特征,并根据代表性特征生成位置细化后的对象。
-
公开(公告)号:CN117853867A
公开(公告)日:2024-04-09
申请号:CN202410022359.2
申请日:2024-01-05
Applicant: 北京交通大学
IPC: G06V10/82 , G06V10/764 , G06N3/096
Abstract: 本发明提供了一种基于数据增强的小样本学习方法。该方法包括:通过RotMix模块和RotCom模块对源数据进行数据增强处理,将增强后的数据传输给MixNet模型;MixNet模型通过特征提取模块、类别多样性编码模块对增强后的数据集进行特征提取与编码,得到特征表示;MixNet模型通过对比学习模块对所述特征表示进行对比学习,得到优化后的特征表示,通过比较不同样本对的特征表示,优化MixNet模型的区分能力;将优化后的特征表示转换为源数据的分类结果,并进行展示。本发明方法从数据增强开始,通过RotMix和RotCom引入多样性和复杂性,再经由MixNet模型进行深度特征提取和类别多样性编码。对比学习模块进一步优化了模型的区分能力。最终将处理结果以用户友好的方式呈现。
-
公开(公告)号:CN111291705A
公开(公告)日:2020-06-16
申请号:CN202010111738.0
申请日:2020-02-24
Applicant: 北京交通大学
Abstract: 本发明提供了一种跨多目标域行人重识别方法,首先使用分布对齐模型对源域、目标域的图片进行域对齐和场景对齐操作,从而使域对齐的图片和场景对齐的图片分布与目标域的图片分布一致,提高基于属性编码的行人重识别模型准确率;将域对齐图片的识别视为分类任务,将域对齐的图片结合对应的摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用交叉熵损失优化模型参数,将场景对齐的识别视为度量任务,将场景对齐的图片结合摄像头属性输入到基于属性编码的基于属性编码的行人重识别模型中,利用难采样三元组损失优化模型参数。本发明中分布对齐模型和基于属性编码的基于属性编码的行人重识别模型单独训练,分别优化,进而提高行人重识别的准确率。
-
公开(公告)号:CN109800710A
公开(公告)日:2019-05-24
申请号:CN201910049231.4
申请日:2019-01-18
Applicant: 北京交通大学
Abstract: 本发明提供一种行人重识别系统及方法,属于行人重识别技术领域。该系统通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构,得到对应的重构矩阵;结合注意力机制提取各重构矩阵中的特征向量;计算所述特征向量的分类损失结果和验证损失结果;根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛,若收敛,则计算不同重构矩阵的特征向量之间的差异度,若差异度大于设定的阈值,则不属于同一行人,若差异度小于设定的阈值,则属于同一行人。本发明使用重构子网络对图像进行重构以提高图像清晰度,使用多任务损失函数拉近相同个体之间的距离,从而提高了网络的特征表示能力和判别能力,提高行人重识别准确率。
-
公开(公告)号:CN117934803A
公开(公告)日:2024-04-26
申请号:CN202410126014.1
申请日:2024-01-30
Applicant: 北京交通大学 , 艾弗世(苏州)专用设备股份有限公司
Abstract: 本发明提供了一种基于多模态特征对齐的视觉定位方法。该方法包括:将图片和对应的指称表达输入到特征提取模块中,分别提取多尺度的网格特征和文本特征,利用Deformable DETR模型和网格特征生成区域特征;将文本特征、区域特征连接后输入到Transformer编码器中生成可学习token;将文本特征和网格特征通过缩放点积注意力操作得到多模态特征;根据多模态特征和可学习token进行目标分割掩码的预测处理,得到预测掩码并将其作为输入数据的视觉定位结果。本发明方法解决了网格特征缺乏对象级信息的问题,增强了特征表示,有效提升了在复杂查询或复杂图片场景下的分割性能。利用混合操作融合全局和局部特征,丰富了多模态特征,有效地实现语义对齐。
-
公开(公告)号:CN117911920A
公开(公告)日:2024-04-19
申请号:CN202410055599.2
申请日:2024-01-15
Applicant: 北京交通大学
IPC: G06V20/40 , G06V10/774 , G06V10/80
Abstract: 本发明提供了一种基于模态交互网络的多模态单目标跟踪方法。该方法包括:构建多模态跟踪网络架构,将训练数据集中的有标注的RGB视频序列以及对应的辅助模态视频序列作为多模态跟踪网络架构的输入数据,利用模态表示模块在不同模态间实现多尺度融合,利用联合特征处理模块对不同的模态进行特征提取融合处理,利用记忆查询模块建立当前目标特征和历史目标特征之间的长距离依赖关系,得到训练好的多模态跟踪网络架构;将待进行目标跟踪的有标注的RGB视频序列以及对应的辅助模态视频序列输入到训练好的多模态跟踪网络架构,本发明通过设计独特的多模态跟踪网络架构,通过模态间交互和融合,提取更具判别力的特征,增强跟踪过程中的稳定性和准确性。
-
公开(公告)号:CN112001252B
公开(公告)日:2024-04-12
申请号:CN202010712454.7
申请日:2020-07-22
Applicant: 北京交通大学
Abstract: 本发明提供一种基于异构图网络的多目标跟踪方法,应用于多目标跟踪中。首先使用目标检测算法得到目标检测框,然后使用光流计算和线性回归操作进行视频帧之间的数据关联。为了解决目标遮挡问题,该模型在数据关联之后使用异构图网络提取检测框和跟踪目标的特征进行相似性度量,判断新出现的检测框是否属于已有的目标。异构图网络包括外观特征提取,空间关系提取和时间关系提取三部分,用于学习判别性特征,以进行目标的外观、空间位置及时间关系等信息的编码,提高特征的表示能力和判别能力,从而提高多目标跟踪的性能。
-
公开(公告)号:CN109800710B
公开(公告)日:2021-04-06
申请号:CN201910049231.4
申请日:2019-01-18
Applicant: 北京交通大学
Abstract: 本发明提供一种行人重识别系统及方法,属于行人重识别技术领域。该系统通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构,得到对应的重构矩阵;结合注意力机制提取各重构矩阵中的特征向量;计算所述特征向量的分类损失结果和验证损失结果;根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛,若收敛,则计算不同重构矩阵的特征向量之间的差异度,若差异度大于设定的阈值,则不属于同一行人,若差异度小于设定的阈值,则属于同一行人。本发明使用重构子网络对图像进行重构以提高图像清晰度,使用多任务损失函数拉近相同个体之间的距离,从而提高了网络的特征表示能力和判别能力,提高行人重识别准确率。
-
公开(公告)号:CN111968123A
公开(公告)日:2020-11-20
申请号:CN202010885756.4
申请日:2020-08-28
Applicant: 北京交通大学
Abstract: 本发明提供了一种半监督视频目标分割方法,包括:S1对视频图像进行预处理,得到当前帧的图像和第一帧的图像,并给定第一帧的分割图;S2构建半监督视频目标分割网络模型,半监督视频目标分割网络模型包括短时网络模块、长时网络模块、注意力门网络模块和上采样模块;S3将前一帧的图像,前一帧的分割结果图和当前帧的图像输入短时网络模块,得到当前帧的粗糙分割图和相对变化信息;将当前帧的图像、第一帧的图像、第一帧的分割图以及当前帧的粗糙分割图输入至长时网络模块,得到绝对变化信息;将相对变化信息以及绝对变化信息输入至注意力门网络,得到分割结果,最后通过上采样模块得到分割结果图。本方法可以提高分割性能和分割的速度。
-
-
-
-
-
-
-
-
-