基于层级神经网络的图像-句子描述生成系统及方法

    公开(公告)号:CN108416065A

    公开(公告)日:2018-08-17

    申请号:CN201810267719.X

    申请日:2018-03-28

    Applicant: 复旦大学

    Abstract: 本发明提供基于层级神经网络的图像-句子描述生成系统及方法,本发明提供的基于层级神经网络的图像-句子描述生成系统包括:深度卷积网络、第一深度循环神经网络、第二深度循环神经网络;所述深度卷积网络获取图像,计算图像特征向量在嵌入空间的嵌入向量;并输出到第一深度循环神经网络和第二深度循环神经网络;所述第一深度循环神经网络识别图像中包含的物体,向第二深度循环神经网络输出物体序列;所述第二深度循环神经网络根据所述嵌入向量和物体序列输出描述所述图像的句子。

    面向社会图像的跨模态图像-标签相关度学习方法

    公开(公告)号:CN104899253B

    公开(公告)日:2018-06-26

    申请号:CN201510243776.0

    申请日:2015-05-13

    Applicant: 复旦大学

    Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像‑标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。

    基于深度学习的跨模态主题相关性建模方法

    公开(公告)号:CN105760507A

    公开(公告)日:2016-07-13

    申请号:CN201610099438.9

    申请日:2016-02-23

    Applicant: 复旦大学

    CPC classification number: G06F17/30014 G06F17/3071 G06K9/6223

    Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。

    面向社会图像的跨模态图像-标签相关度学习方法

    公开(公告)号:CN104899253A

    公开(公告)日:2015-09-09

    申请号:CN201510243776.0

    申请日:2015-05-13

    Applicant: 复旦大学

    CPC classification number: G06F17/30265

    Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像-标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。

    基于层级神经网络的图像-句子描述生成系统及方法

    公开(公告)号:CN108416065B

    公开(公告)日:2021-08-31

    申请号:CN201810267719.X

    申请日:2018-03-28

    Applicant: 复旦大学

    Abstract: 本发明提供基于层级神经网络的图像‑句子描述生成系统及方法,本发明提供的基于层级神经网络的图像‑句子描述生成系统包括:深度卷积网络、第一深度循环神经网络、第二深度循环神经网络;所述深度卷积网络获取图像,计算图像特征向量在嵌入空间的嵌入向量;并输出到第一深度循环神经网络和第二深度循环神经网络;所述第一深度循环神经网络识别图像中包含的物体,向第二深度循环神经网络输出物体序列;所述第二深度循环神经网络根据所述嵌入向量和物体序列输出描述所述图像的句子。

    基于深度学习的跨模态主题相关性建模方法

    公开(公告)号:CN105760507B

    公开(公告)日:2019-05-03

    申请号:CN201610099438.9

    申请日:2016-02-23

    Applicant: 复旦大学

    Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。

Patent Agency Ranking