公开(公告)号：CN117853867A

公开(公告)日：2024-04-09

申请号：CN202410022359.2

申请日：2024-01-05

Applicant: 北京交通大学

Inventor： 张宝鹏 ,  马昆昆 ,  滕竹 ,  张振梁 ,  谷秋航 ,  龚爽

IPC: G06V10/82 ,  G06V10/764 ,  G06N3/096

Abstract: 本发明提供了一种基于数据增强的小样本学习方法。该方法包括：通过RotMix模块和RotCom模块对源数据进行数据增强处理，将增强后的数据传输给MixNet模型；MixNet模型通过特征提取模块、类别多样性编码模块对增强后的数据集进行特征提取与编码，得到特征表示；MixNet模型通过对比学习模块对所述特征表示进行对比学习，得到优化后的特征表示，通过比较不同样本对的特征表示，优化MixNet模型的区分能力；将优化后的特征表示转换为源数据的分类结果，并进行展示。本发明方法从数据增强开始，通过RotMix和RotCom引入多样性和复杂性，再经由MixNet模型进行深度特征提取和类别多样性编码。对比学习模块进一步优化了模型的区分能力。最终将处理结果以用户友好的方式呈现。

公开(公告)号：CN117934803A

公开(公告)日：2024-04-26

申请号：CN202410126014.1

申请日：2024-01-30

Applicant: 北京交通大学 ,  艾弗世(苏州)专用设备股份有限公司

Inventor： 滕竹 ,  张振梁 ,  张宝鹏 ,  李棋瑞 ,  王子印

IPC: G06V10/22 ,  G06V10/24 ,  G06V10/40 ,  G06V10/82 ,  G06V10/80

Abstract: 本发明提供了一种基于多模态特征对齐的视觉定位方法。该方法包括：将图片和对应的指称表达输入到特征提取模块中，分别提取多尺度的网格特征和文本特征，利用Deformable DETR模型和网格特征生成区域特征；将文本特征、区域特征连接后输入到Transformer编码器中生成可学习token；将文本特征和网格特征通过缩放点积注意力操作得到多模态特征；根据多模态特征和可学习token进行目标分割掩码的预测处理，得到预测掩码并将其作为输入数据的视觉定位结果。本发明方法解决了网格特征缺乏对象级信息的问题，增强了特征表示，有效提升了在复杂查询或复杂图片场景下的分割性能。利用混合操作融合全局和局部特征，丰富了多模态特征，有效地实现语义对齐。