公开(公告)号：CN116959098A

公开(公告)日：2023-10-27

申请号：CN202310720600.4

申请日：2023-06-16

Applicant: 南京邮电大学

Inventor： 罗梓淇 ,  吴飞 ,  黄庆花 ,  岳晓凡 ,  周睿璇

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/56 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764

Abstract: 本发明公开了一种基于双粒度三模态度量学习的行人重识别方法及系统包括：获取跨模态行人图像数据集，并划分为训练集和测试集；对训练集的彩色行人图片进行颜色空间转换生成灰度图像，并将训练集的三个模态的图像进行特征提取；对提取的特征进行处理得到细粒度特征和粗粒度特征，根据粗、细粒度特征构造三元组，并设计三元损失函数对粗、细粒度特征进行学习；设计多模态分类器和正样本优化器，并结合三元损失函数训练网络模型，待网络模型收敛后，对测试集的行人图片进行检索；本发明提供的方法可以增加同类不同模态特征的紧凑性，缩小模态间差异，提高行人图像的检索准确率。

公开(公告)号：CN116740763A

公开(公告)日：2023-09-12

申请号：CN202310707709.4

申请日：2023-06-14

Applicant: 南京邮电大学

Inventor： 吴飞 ,  高阳 ,  季一木 ,  岳晓凡 ,  刘强

IPC: G06V40/10 ,  G06V10/80 ,  G06V10/774 ,  G06V10/40 ,  G06V10/74 ,  G06V10/30 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于双注意力感知融合网络的跨模态行人重识别方法，涉及图像识别技术领域，使用特征提取网络获得行人特征，为了减少跨模态图像的模态信息差异与抑制行人图片中背景噪声带来的不良影响，通过一种双注意力感知融合方法对模态内与模态间信息交互融合，减少模态间隙对跨模态行人重识别的影响；为了从模态内和模态间对齐样本分布，本发明从度量学习角度设计了一种特征相关性判断，它利用同类样本间的相似性与异类样本间的排他性形成监督信息来对特征样本间的相关性进行建模，目的是期望同类人物id特征样本更相似，异类人物id特征样本更不相似；与常规标准交叉熵损失配合训练，使得模型提取的特征获得更好的空间分布。