公开(公告)号：CN110990595B

公开(公告)日：2023-05-05

申请号：CN201911228649.8

申请日：2019-12-04

申请人： 成都考拉悠然科技有限公司

发明人： 徐行 ,  张明 ,  林凯毅 ,  杨阳 ,  沈复民 ,  贾可 ,  申恒涛

IPC分类号： G06F16/43 ,  G06F16/48 ,  G06F16/45

摘要： 本发明涉及跨模态检索技术领域，具体的说，是一种跨域对齐嵌入空间的零样本跨模态检索方法。所述的零样本跨模态检索方法先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。本发明利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络，同时解决了“异构鸿沟”的问题。

公开(公告)号：CN110990595A

公开(公告)日：2020-04-10

申请号：CN201911228649.8

申请日：2019-12-04

申请人： 成都考拉悠然科技有限公司

发明人： 徐行 ,  张明 ,  林凯毅 ,  杨阳 ,  沈复民 ,  贾可 ,  申恒涛

IPC分类号： G06F16/43 ,  G06F16/48 ,  G06F16/45

摘要： 本发明涉及跨模态检索技术领域，具体的说，是一种跨域对齐嵌入空间的零样本跨模态检索方法。所述的零样本跨模态检索方法先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。本发明利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络，同时解决了“异构鸿沟”的问题。