公开(公告)号：CN118212655A

公开(公告)日：2024-06-18

申请号：CN202410309901.2

申请日：2024-03-19

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 郑敏 ,  毛琛 ,  谭冲 ,  刘洪 ,  李慧

IPC: G06V40/10 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06V10/40 ,  G06V10/62 ,  G06F18/213 ,  G06F16/732 ,  G06N3/0895 ,  G06N3/045 ,  H04W4/80

Abstract: 本发明涉及一种基于双流网络的多模态行人重新识别和检索方法，包括：获取目标行人的视频序列和经目标行人散射和反射的WiFi信号；将视频序列和WiFi信号输入至行人重识别模型中，完成目标行人的重识别任务；其中，行人重识别模型包括：视频特征提取模块、WiFi特征提取模块和特征融合模块；所述行人重识别模型的损失函数包括交叉熵损失、三元组损失、视觉‑WiFi对比损失、视觉‑WiFi距离损失，其中，交叉熵损失和三元组损失用于完成多模态行人重识别任务，视觉‑WiFi对比损失和视觉‑WiFi距离损失用于完成WiFi信号和视频对应检索任务。本发明能够在各种背景下识别出同一行人目标。