-
公开(公告)号：CN112905822B
公开(公告)日：2022-07-01
申请号：CN202110144443.8
申请日：2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法，针对每个模态构建深度学习网络获取深度特征，引入生成对抗网络，利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征，在公共子空间进行异质性数据的度量的同时，利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络，使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能；在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算，从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者，实现跨模态检索。
-
公开(公告)号：CN112905822A
公开(公告)日：2021-06-04
申请号：CN202110144443.8
申请日：2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法，针对每个模态构建深度学习网络获取深度特征，引入生成对抗网络，利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征，在公共子空间进行异质性数据的度量的同时，利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络，使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能；在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算，从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者，实现跨模态检索。
-
公开(公告)号：CN114817673A
公开(公告)日：2022-07-29
申请号：CN202210389983.7
申请日：2022-04-14
Applicant: 华侨大学
IPC: G06F16/908 , G06F16/906 , G06V10/764 , G06V10/80
Abstract: 本发明提出一种基于模态关系学习的跨模态检索方法，将数据集中相同语义的图像文本对以及所属的类标签输入到基于模态关系学习的跨模态检索网络模型中训练，直至模型收敛，从而获得网络模型M；利用S1中训练得到网络模型M分别提取待查询图像/文本和候选库中每个文本/图像的特征向量，从而计算待查询图像文本与候选库中文本/图像的相似度，根据相似度的大小进行降序排序，并返回相似度最高的检索结果；建立模态间和模态内的双重融合机制进行模态间关系学习，不仅在模态内融合多尺度的特征，还在模态间使用标签的关系信息直接对融合特征进行互补性关系学习，另外，加入模态间的注意力机制进行特征联合嵌入，进一步的提高了跨模态的检索性能。
-
-
Search Results
3
records
(took 0.022 seconds)
