-
公开(公告)号:CN108595636A
公开(公告)日:2018-09-28
申请号:CN201810378357.1
申请日:2018-04-25
Applicant: 复旦大学
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度跨模态相关性学习的手绘草图的图像检索方法。本发明包括三个主要算法:深度多模态特征生成,多模态相关性学习建模,相似度排序优化。本发明利用深度学习技术来构造深度语义特征和深度视觉特征来分别描述多模态文档中的文本标注部分和图像/草图部分。基于这样的多模态文档表示,通过构建跨模态的相关性模型对整个多模态文档集合进行建模,从而对多模态文档的不同模态之间的关联进行描述。基于相关性建模后得到的相关性特征,对检索结果进行排序优化,返回与查询草图最大相似度的彩色图像和文本。
-
公开(公告)号:CN106126581A
公开(公告)日:2016-11-16
申请号:CN201610442187.X
申请日:2016-06-20
Applicant: 复旦大学
CPC classification number: G06F16/583 , G06K9/6223
Abstract: 本发明属于多媒体信息检索技术领域,具体为基于深度学习的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换,然后利用深度学习技术来构造查询草图和类草图的深度特征区分性特征表示,这种深度特征融合了图像的高层语义特征和底层视觉特征;这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息,抑制检索结果排序靠前的不相关图像,返回更相关的结果给用户。本方法准确性高,适应性强。对于在大规模图像数据基础上,考虑草图的语义信息而进行高效的图像检索具有重要意义,能够减小手绘草图的模糊性的影响,提高检索相关性,增强用户体验,在多媒体图像检索领域具有广泛的应用价值。
-
公开(公告)号:CN106126581B
公开(公告)日:2019-07-05
申请号:CN201610442187.X
申请日:2016-06-20
Applicant: 复旦大学
IPC: G06F16/583 , G06K9/62
Abstract: 本发明属于多媒体信息检索技术领域,具体为基于深度学习的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换,然后利用深度学习技术来构造查询草图和类草图的深度特征区分性特征表示,这种深度特征融合了图像的高层语义特征和底层视觉特征;这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息,抑制检索结果排序靠前的不相关图像,返回更相关的结果给用户。本方法准确性高,适应性强。对于在大规模图像数据基础上,考虑草图的语义信息而进行高效的图像检索具有重要意义,能够减小手绘草图的模糊性的影响,提高检索相关性,增强用户体验,在多媒体图像检索领域具有广泛的应用价值。
-
-