公开(公告)号：CN115964526A

公开(公告)日：2023-04-14

申请号：CN202211278560.4

申请日：2022-10-19

Applicant: 吉林大学

Inventor： 唐川 ,  杨溪 ,  吴博剑 ,  韩治中 ,  常毅

IPC: G06F16/58 ,  G06V10/26 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80

Abstract: 本申请提供了一种跨模态搜索的方法、装置、电子设备及存储介质，该方法包括：基于三维物体的点云数据，对三维物体进行语义分割，得到三维物体的多个部件；根据多个部件和三维物体的点云数据，得到三维物体的物体特征，物体特征包括多个部件的部件特征；确定三维物体的物体特征与多个候选文本的语义特征之间的相似度，语义特征包括对应的候选文本中多个词的词向量；将多个候选文本中语义特征与物体特征之间的相似度最大的候选文本，确定为跨模态搜索出的与三维物体最匹配的文本。该方法能够高效快速地提取三维物体的物体特征，同时基于局部对齐的搜索方式提高了跨模态搜索的精度，使得跨模态搜索更加高效准确。