公开(公告)号：CN119832599A

公开(公告)日：2025-04-15

申请号：CN202411938930.1

申请日：2024-12-26

Applicant: 厦门大学

Inventor： 戴平阳 ,  纪荣嵘 ,  孙震

IPC: G06V40/10 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0895

Abstract: 本发明公开了一种用于集成多模态行人再识别的跨模态分组对齐方法，包括以下步骤：S1、利用共享的同一个图像特征提取器对RGB图像和草图进行特征提取，并利用文本特征提取器对文本进行特征提取；S2、使用融合特征提取器对草图和文本的特征进行特征融合；S3、局部特征通过过滤处理将冗余的特征滤除，再通过跨模态域内对比学习模块进行模态间细粒度特征深度融合，实现细粒度特征对齐；S4、全局特征通过超平面约束模块，将同一行人id的三种模态的全局特征在共享空间中的分布约束到一个超平面中；S5、同一个超平面中的全局特征通过对比学习将三种模态进行对齐，最终实现文本检索RGB图像、草图检索RGB图像、文本融合草图检索RGB图像。