-
公开(公告)号：CN108319686A
公开(公告)日：2018-07-24
申请号：CN201810101127.0
申请日：2018-02-01
Applicant: 北京大学深圳研究生院
Abstract: 本发明公布了一种基于受限文本空间的对抗性跨媒体检索方法，设计特征提取网络、特征映射网络和模态分类器，通过学习得到受限文本空间，提取适用于跨媒体检索的图像和文本特征，实现图像特征从图像空间到文本空间的映射；通过对抗性训练机制使得学习过程中不断减小不同模态数据之间特征分布的差异性；由此实现跨媒体检索。本发明能够更好地拟合人类在跨媒体检索任务中的行为表现；得到更适用于跨媒体检索任务的图像和文本特征，弥补了预训练特征在表达能力上的欠缺；引入对抗性学习的机制，通过模态分类器与特征映射网络之间的最大最小博弈，进一步提升了检索准确率。
-
公开(公告)号：CN108319686B
公开(公告)日：2021-07-30
申请号：CN201810101127.0
申请日：2018-02-01
Applicant: 北京大学深圳研究生院
IPC: G06F16/2458 , G06F16/58 , G06F16/28 , G06N3/08
Abstract: 本发明公布了一种基于受限文本空间的对抗性跨媒体检索方法，设计特征提取网络、特征映射网络和模态分类器，通过学习得到受限文本空间，提取适用于跨媒体检索的图像和文本特征，实现图像特征从图像空间到文本空间的映射；通过对抗性训练机制使得学习过程中不断减小不同模态数据之间特征分布的差异性；由此实现跨媒体检索。本发明能够更好地拟合人类在跨媒体检索任务中的行为表现；得到更适用于跨媒体检索任务的图像和文本特征，弥补了预训练特征在表达能力上的欠缺；引入对抗性学习的机制，通过模态分类器与特征映射网络之间的最大最小博弈，进一步提升了检索准确率。
-
公开(公告)号：CN109783657A
公开(公告)日：2019-05-21
申请号：CN201910011678.2
申请日：2019-01-07
Applicant: 北京大学深圳研究生院
IPC: G06F16/435 , G06N3/04 , G06N3/08
Abstract: 本发明公布了一种基于受限文本空间的多步自注意力跨媒体检索方法及检索系统，通过构建相对固定的词汇表的受限文本空间，再将非受限文本空间转换成受限文本空间；通过特征提取网络提取受限文本空间的图像特征和文本特征；特征包括全局特征、区域特征集合及关联特征；将提取得到的特征送入特征映射网络，并通过多步自注意力机制提取图像和文本之间物体层次的共享信息；再通过相似性度量网络汇总各时刻有用信息来衡量图像和文本之间的相似度，并计算三元组损失函数；由此实现基于受限文本空间的多步自注意力跨媒体检索。本发明通过引入多步自注意力机制和关联特征，大幅度提升了跨媒体检索召回率。
-
公开(公告)号：CN109783657B
公开(公告)日：2022-12-30
申请号：CN201910011678.2
申请日：2019-01-07
Applicant: 北京大学深圳研究生院
IPC: G06F16/435 , G06N3/04 , G06N3/08
Abstract: 本发明公布了一种基于受限文本空间的多步自注意力跨媒体检索方法及检索系统，通过构建相对固定的词汇表的受限文本空间，再将非受限文本空间转换成受限文本空间；通过特征提取网络提取受限文本空间的图像特征和文本特征；特征包括全局特征、区域特征集合及关联特征；将提取得到的特征送入特征映射网络，并通过多步自注意力机制提取图像和文本之间物体层次的共享信息；再通过相似性度量网络汇总各时刻有用信息来衡量图像和文本之间的相似度，并计算三元组损失函数；由此实现基于受限文本空间的多步自注意力跨媒体检索。本发明通过引入多步自注意力机制和关联特征，大幅度提升了跨媒体检索召回率。
-
-
-
Search Results
4
records
(took 0.034 seconds)
