公开(公告)号：CN118506102A

公开(公告)日：2024-08-16

申请号：CN202410754377.X

申请日：2024-06-12

Applicant: 湖南大学

Inventor： 李树涛 ,  马启伟 ,  吕天 ,  徐青杰 ,  康旭东

IPC: G06V10/764 ,  G06V10/42 ,  G06V10/80 ,  G06V10/25 ,  G06V10/82

Abstract: 本发明公开了一种多模态多视角目标检测及匹配方法及系统，本发明包括将文本描述转换为文本特征，图像1和图像2分别提取图像特征1和图像特征2，再融合生成图像感知的文本特征、文本感知的图像特征1和文本感知的图像特征2；将文本感知的图像特征1、文本感知的图像特征2进行目标特征提取和边界框检测得到目标编码特征及其边界框，将图像感知的文本特征结合目标编码特征1和目标编码特征2进行区域‑文本匹配以确定目标类别，并针对目标编码特征1和目标编码特征2进行区域‑区域匹配以在图像1和图像2中识别出相同的目标。本发明旨在实现多模态多视角的目标准确检测和匹配。