-
公开(公告)号：CN111985548A
公开(公告)日：2020-11-24
申请号：CN202010802092.0
申请日：2020-08-11
Applicant: 华侨大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06F40/30 , G06F16/906 , G06F16/901
Abstract: 本发明公开了一种标签引导的跨模态深度哈希方法，包括：构建图像、文本以及对应标签信息的特征提取网络，设计损失函数，对输入的文本和图像两个模态进行共同表征空间学习和标签空间的学习，进而消除不同模态间的语义鸿沟。本发明特别考虑了跨模态检索领域中的难点，不同模态的数据存在语义鸿沟，即表现为高层语义相关，底层特征异构，本发明能够有效提高跨模态检索精度。
-
公开(公告)号：CN113010720B
公开(公告)日：2022-06-07
申请号：CN202110208356.4
申请日：2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于关键对象特征的深度监督跨模态检索方法，具体包括：首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。
-
公开(公告)号：CN113010720A
公开(公告)日：2021-06-22
申请号：CN202110208356.4
申请日：2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于关键对象特征的深度监督跨模态检索方法，具体包括：首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。
-
公开(公告)号：CN114817596A
公开(公告)日：2022-07-29
申请号：CN202210390000.1
申请日：2022-04-14
Applicant: 华侨大学
IPC: G06F16/532 , G06F16/583 , G06V10/80 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种融合语义相似性嵌入和度量学习的跨模态图文检索方法，具体包括：首先构建特征嵌入模块抽取每个模态的深度特征，然后在图像和文本的单模态表征空间和跨模态公共表征空间通过标签域监督信息和语义一致性监督信息分别进行表征学习。同时，设计一个深度相似性度量网络对融合后的图像文本对进行相似性比较，得到相似性得分，通过语义相似性矩阵监督相似性学习。通过损失函数将模型统一到一个整体的框架内，训练可得到端到端的跨模态图文检索模型。通过实验表明，本发明能够有效解决跨模态图文检索中精确度不高的问题。
-
-
-
Search Results
4
records
(took 0.015 seconds)
