-
公开(公告)号:CN105760507B
公开(公告)日:2019-05-03
申请号:CN201610099438.9
申请日:2016-02-23
Applicant: 复旦大学
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN104899253B
公开(公告)日:2018-06-26
申请号:CN201510243776.0
申请日:2015-05-13
Applicant: 复旦大学
IPC: G06F17/30
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像‑标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN105760507A
公开(公告)日:2016-07-13
申请号:CN201610099438.9
申请日:2016-02-23
Applicant: 复旦大学
CPC classification number: G06F17/30014 , G06F17/3071 , G06K9/6223
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN104899253A
公开(公告)日:2015-09-09
申请号:CN201510243776.0
申请日:2015-05-13
Applicant: 复旦大学
IPC: G06F17/30
CPC classification number: G06F17/30265
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像-标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
-
-