公开(公告)号：CN107330100B

公开(公告)日：2020-04-03

申请号：CN201710545632.X

申请日：2017-07-06

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  冉璐 ,  王荣刚 ,  李革 ,  董胜富 ,  王振宇 ,  李英 ,  赵辉 ,  高文

IPC: G06F16/583 ,  G06F16/33 ,  G06F16/338 ,  G06F16/36 ,  G06F40/253 ,  G06F40/30 ,  G06K9/62 ,  G06N3/08

Abstract: 本发明公布了一种基于多视图联合嵌入空间的图像‑文本双向检索方法，通过结合全局层面和局部层面的语义关联关系进行检索；先从画面‑句子视图和区域‑短语视图下分别获得全局和局部层面的语义关联关系，在画面‑句子视图中获取画面和句子全局层面子空间中的语义关联信息；在区域‑短语视图中获取区域和短语局部层面子空间中的语义关联信息；两个视图中均通过双分支的神经网络处理数据得到同构特征嵌入共同空间，在训练中使用约束条件保留数据原有的语义关系；再通过多视图融合排序方法融合两种语义关联关系得到数据之间更精准的语义相似度，使得检索结果准确度更高。

公开(公告)号：CN107330100A

公开(公告)日：2017-11-07

申请号：CN201710545632.X

申请日：2017-07-06

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  冉璐 ,  王荣刚 ,  李革 ,  董胜富 ,  王振宇 ,  李英 ,  赵辉 ,  高文

IPC: G06F17/30 ,  G06K9/62 ,  G06F17/27 ,  G06N3/08

Abstract: 本发明公布了一种基于多视图联合嵌入空间的图像-文本双向检索方法，通过结合全局层面和局部层面的语义关联关系进行检索；先从画面-句子视图和区域-短语视图下分别获得全局和局部层面的语义关联关系，在画面-句子视图中获取画面和句子全局层面子空间中的语义关联信息；在区域-短语视图中获取区域和短语局部层面子空间中的语义关联信息；两个视图中均通过双分支的神经网络处理数据得到同构特征嵌入共同空间，在训练中使用约束条件保留数据原有的语义关系；再通过多视图融合排序方法融合两种语义关联关系得到数据之间更精准的语义相似度，使得检索结果准确度更高。