公开(公告)号：CN104317837B

公开(公告)日：2017-06-23

申请号：CN201410532057.6

申请日：2014-10-10

Applicant: 浙江大学

Inventor： 庄越挺 ,  吴飞 ,  李玺 ,  王彦斐 ,  宋骏

IPC: G06F17/30

Abstract: 本发明公开了一种基于主题模型的跨模态检索方法。它包括如下步骤：1）对数据库中各种类型模态数据提取特征和记录标签；2）基于主题的跨模态检索图模型的建立；3）采用坍缩吉布斯采样方法求解基于主题的跨模态检索图模型；4）用户提交一种类型模态的数据，并提取特征后，利用跨模态检索模型返回与之相关的另外一种类型模态数据；5）利用跨模态数据的真实对应信息和标签信息，对跨模态检索模型同时从对应性和区别性两方面来进行评价。本发明引入跨模态主题和不同模态主题增强概念，并且利用了标签信息，既增强了主题建模的可解释性和灵活性，而且具有很好的可扩展性和判别性。

公开(公告)号：CN104317837A

公开(公告)日：2015-01-28

申请号：CN201410532057.6

申请日：2014-10-10

Applicant: 浙江大学

Inventor： 庄越挺 ,  吴飞 ,  李玺 ,  王彦斐 ,  宋骏

IPC: G06F17/30

CPC classification number: G06F16/95

Abstract: 本发明公开了一种基于主题模型的跨模态检索方法。它包括如下步骤：1）对数据库中各种类型模态数据提取特征和记录标签；2）基于主题的跨模态检索图模型的建立；3）采用坍缩吉布斯采样方法求解基于主题的跨模态检索图模型；4）用户提交一种类型模态的数据，并提取特征后，利用跨模态检索模型返回与之相关的另外一种类型模态数据；5）利用跨模态数据的真实对应信息和标签信息，对跨模态检索模型同时从对应性和区别性两方面来进行评价。本发明引入跨模态主题和不同模态主题增强概念，并且利用了标签信息，既增强了主题建模的可解释性和灵活性，而且具有很好的可扩展性和判别性。

公开(公告)号：CN103488713A

公开(公告)日：2014-01-01

申请号：CN201310410553.X

申请日：2013-09-10

Applicant: 浙江大学

Inventor： 庄越挺 ,  吴飞 ,  王彦斐 ,  汤斯亮 ,  邵健

IPC: G06F17/30

CPC classification number: G06F17/30967

Abstract: 本发明公开了一种可直接度量不同模态数据间相似性的跨模态检索方法。它包括如下步骤：1）特征提取；2）模型建立和学习；3）跨媒体数据检索；4）结果评价。本发明可以直接在不同模态数据之间进行相似度比较，对于跨模态检索任务，用户可以提交任意模态的文本、图像、声音等，去检索他们需求的对应模态结果。本发明与传统跨媒体检索方法的区别在于可以直接进行不同模态数据之间的相似性比较，满足了跨媒体检索的需求，更加直接地实现了用户的检索意图，与其它可以直接度量不同模态相似性的跨媒体检索算法相比，本方法具有较强抗噪音干扰能力和对松散关联的跨模态数据的表达能力，使得检索效果更好。

公开(公告)号：CN103488713B

公开(公告)日：2016-09-28

申请号：CN201310410553.X

申请日：2013-09-10

Applicant: 浙江大学

Inventor： 庄越挺 ,  吴飞 ,  王彦斐 ,  汤斯亮 ,  邵健

IPC: G06F17/30

Abstract: 本发明公开了一种可直接度量不同模态数据间相似性的跨模态检索方法。它包括如下步骤：1）特征提取；2）模型建立和学习；3）跨媒体数据检索；4）结果评价。本发明可以直接在不同模态数据之间进行相似度比较，对于跨模态检索任务，用户可以提交任意模态的文本、图像、声音等，去检索他们需求的对应模态结果。本发明与传统跨媒体检索方法的区别在于可以直接进行不同模态数据之间的相似性比较，满足了跨媒体检索的需求，更加直接地实现了用户的检索意图，与其它可以直接度量不同模态相似性的跨媒体检索算法相比，本方法具有较强抗噪音干扰能力和对松散关联的跨模态数据的表达能力，使得检索效果更好。