公开(公告)号：CN117853867A

公开(公告)日：2024-04-09

申请号：CN202410022359.2

申请日：2024-01-05

Applicant: 北京交通大学

Inventor： 张宝鹏 ,  马昆昆 ,  滕竹 ,  张振梁 ,  谷秋航 ,  龚爽

IPC: G06V10/82 ,  G06V10/764 ,  G06N3/096

Abstract: 本发明提供了一种基于数据增强的小样本学习方法。该方法包括：通过RotMix模块和RotCom模块对源数据进行数据增强处理，将增强后的数据传输给MixNet模型；MixNet模型通过特征提取模块、类别多样性编码模块对增强后的数据集进行特征提取与编码，得到特征表示；MixNet模型通过对比学习模块对所述特征表示进行对比学习，得到优化后的特征表示，通过比较不同样本对的特征表示，优化MixNet模型的区分能力；将优化后的特征表示转换为源数据的分类结果，并进行展示。本发明方法从数据增强开始，通过RotMix和RotCom引入多样性和复杂性，再经由MixNet模型进行深度特征提取和类别多样性编码。对比学习模块进一步优化了模型的区分能力。最终将处理结果以用户友好的方式呈现。

公开(公告)号：CN117911920A

公开(公告)日：2024-04-19

申请号：CN202410055599.2

申请日：2024-01-15

Applicant: 北京交通大学

Inventor： 滕竹 ,  龚爽 ,  李芮 ,  张宝鹏

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明提供了一种基于模态交互网络的多模态单目标跟踪方法。该方法包括：构建多模态跟踪网络架构，将训练数据集中的有标注的RGB视频序列以及对应的辅助模态视频序列作为多模态跟踪网络架构的输入数据，利用模态表示模块在不同模态间实现多尺度融合，利用联合特征处理模块对不同的模态进行特征提取融合处理，利用记忆查询模块建立当前目标特征和历史目标特征之间的长距离依赖关系，得到训练好的多模态跟踪网络架构；将待进行目标跟踪的有标注的RGB视频序列以及对应的辅助模态视频序列输入到训练好的多模态跟踪网络架构，本发明通过设计独特的多模态跟踪网络架构，通过模态间交互和融合，提取更具判别力的特征，增强跟踪过程中的稳定性和准确性。