公开(公告)号：CN119066217A

公开(公告)日：2024-12-03

申请号：CN202310643813.1

申请日：2023-06-01

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  范意兴 ,  孙文祥 ,  廖华明 ,  张儒清

IPC: G06F16/53 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明提供了一种基于模态对比学习的跨模态实体召回方法和装置，所述方法包括以下步骤：T1、获取待查询实体，利用经训练的多模态编码神经网络和预设的归一化方式提取待查询实体的多维待查询实体向量，其中，多模态编码神经网络包括用于对文本模态的输入实体提取向量的文本编码模型以及用于对图像模态的输入实体提取向量的图像编码模型并且根据同模态的对比学习和跨模态的对比学习得到；T2、计算多维待查询实体向量与索引库中存储的各库内实体的多维库内实体向量的相似度，所述各库内实体的多维库内实体向量预先基于所述经训练的多模态编码神经网络和预设的归一化方式提取得到；T3、基于相似度，从索引库中召回多个库内实体作为候选实体。