公开(公告)号：CN116824625A

公开(公告)日：2023-09-29

申请号：CN202310616550.5

申请日：2023-05-29

Applicant: 北京交通大学

Inventor： 金一 ,  亓佳 ,  梁腾飞 ,  王旭 ,  李浥东 ,  王涛

IPC: G06V40/10 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08 ,  G06N3/084

Abstract: 本发明提供了一种基于生成式多模态图像融合的目标重识别方法。该方法包括：利用跨模态图像生成网络生成输入图像的另一模态的图像，得到成对图像，所述输入图像包括可见光图像或者红外图像；构建并训练基于分块的双重多模态特征融合模块，将所述成对图像输入到训练好的双重多模态特征融合模块中，得到所述成对图像的融合特征；基于所述成对图像的融合特征利用余弦距离测量所述成对图像之间的差异特征，对所述差异特征进行补偿。本发明利用了丢失的模态特定特征的信息，利用对比学习来关联输入与输出图像对应位置的信息，保留了行人的身份信息，从而可以有效地对多模态图像进行行人目标重识别。

公开(公告)号：CN116168418A

公开(公告)日：2023-05-26

申请号：CN202310043891.8

申请日：2023-01-29

Applicant: 北京交通大学

Inventor： 金一 ,  亓佳 ,  梁腾飞 ,  王旭 ,  李浥东 ,  王涛

IPC: G06V40/10 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明提供了一种图像的多模态目标感知与重识别方法。该方法包括：对跨模态图像数据进行预处理得到分块向量序列，通过ME学习跨模态图像数据的模态信息，将跨模态图像数据的分块数据、位置信息和模态信息融合在一起得到序列化图像数据，并输入到ViT模型，ViT模型输出跨模态图像数据的特征信息，计算模态感知增强损失值，根据损失值进行反向传播调整模型参数，得到训练好的目标重识别模型，利用该模型对待识别的行人图像进行跨模态目标重识别。本发明方法将可学习模态嵌入引入网络，直接编码模态信息，可以有效地用于缓解异构图像之间的差距，实现对跨模态图像的目标感知和重识别。