基于判别性隐空间学习的跨模态检索方法、装置及介质

    公开(公告)号:CN116304135A

    公开(公告)日:2023-06-23

    申请号:CN202310594729.5

    申请日:2023-05-25

    摘要: 本发明公开了一种基于判别性隐空间学习的跨模态检索方法、装置及介质,该方法包括:提取第一模态数据的第一特征和第二模态数据的第二特征,构建第一训练集和第二训练集;采用第一训练集和第二训练集对增加判别性属性的双字典模型进行训练,得到隐空间特征模型;基于隐空间特征模型,将待检索模态数据特征和检索数据库中模态数据特征分别投影到隐空间中,得到对应的隐空间特征表示;根据隐空间特征表示进行相似度计算,得到检索结果。通过实施本发明,采用双字典学习技术来构建隐空间,使多模态数据在隐空间中实现对齐。在双字典模型中加入将判别性属性,从而使子类内距离更加紧凑而子类间距离更加稀疏。更加符合电网细粒度多模态场景设置。