公开(公告)号：CN112800292B

公开(公告)日：2022-10-11

申请号：CN202110053038.5

申请日：2021-01-15

Applicant: 南京邮电大学

Inventor： 吴飞 ,  罗晓开 ,  季一木 ,  黄庆花 ,  高广谓 ,  蒋国平

IPC: G06F16/9032 ,  G06F16/901 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于模态特定和共享特征学习的跨模态检索方法，包括：步骤S1、获取跨模态检索数据集，划分为训练集和测试集；步骤S2、对文本和图像分别进行特征提取；步骤S3、提取模态特定特征和模态共享特征；步骤S4、通过哈希网络生成对应模态样本的哈希码；步骤S5、联合对抗自编码器网络的损失函数以及哈希网络的损失函数训练网络；步骤S6、利用步骤S5中训练完成的网络对测试集中的样本进行跨模态检索。本发明设计了一个哈希网络，将图像通道的编码特征和文本通道编码特征以及模态共享特征投影到汉明空间中，并且利用标签信息、模态特定和共享特征进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性。

公开(公告)号：CN111460201B

公开(公告)日：2022-09-23

申请号：CN202010143786.8

申请日：2020-03-04

Applicant: 南京邮电大学

Inventor： 吴智勇 ,  吴飞 ,  王彩玲 ,  董西伟 ,  罗晓开 ,  荆晓远 ,  季一木

IPC: G06F16/58 ,  G06N3/08

Abstract: 本发明公开了一种基于生成性对抗网络的模态一致性跨模态检索方法，包括以下步骤：首先利用生成性对抗网络强大的数据分布建模能力，将文本特征映射到图像特征空间，用这种方法将跨模态检索问题转换为单模态检索问题，尽可能多地保留图像语义信息的同时减小模态的异质性。其次，设计了一个模态一致性哈希网络，将真实的图像特征和通过生成性对抗网络生成的特征投影到汉明空间中，并且利用标签信息对模态间和模态内的相似性进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性，获得更具判别性的哈希码。最后在两个常用的基准数据集上的实验结果表明本方法与现有的流行方法相比具有更好的跨模态检索性能。

公开(公告)号：CN112800292A

公开(公告)日：2021-05-14

申请号：CN202110053038.5

申请日：2021-01-15

Applicant: 南京邮电大学

Inventor： 吴飞 ,  罗晓开 ,  季一木 ,  黄庆花 ,  高广谓 ,  蒋国平

IPC: G06F16/9032 ,  G06F16/901 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于模态特定和共享特征学习的跨模态检索方法，包括：步骤S1、获取跨模态检索数据集，划分为训练集和测试集；步骤S2、对文本和图像分别进行特征提取；步骤S3、提取模态特定特征和模态共享特征；步骤S4、通过哈希网络生成对应模态样本的哈希码；步骤S5、联合对抗自编码器网络的损失函数以及哈希网络的损失函数训练网络；步骤S6、利用步骤S5中训练完成的网络对测试集中的样本进行跨模态检索。本发明设计了一个哈希网络，将图像通道的编码特征和文本通道编码特征以及模态共享特征投影到汉明空间中，并且利用标签信息、模态特定和共享特征进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性。

公开(公告)号：CN111460201A

公开(公告)日：2020-07-28

申请号：CN202010143786.8

申请日：2020-03-04

Applicant: 南京邮电大学

Inventor： 吴智勇 ,  吴飞 ,  王彩玲 ,  董西伟 ,  罗晓开 ,  荆晓远 ,  季一木

IPC: G06F16/58 ,  G06N3/08

Abstract: 本发明公开了一种基于生成性对抗网络的模态一致性跨模态检索方法，包括以下步骤：首先利用生成性对抗网络强大的数据分布建模能力，将文本特征映射到图像特征空间，用这种方法将跨模态检索问题转换为单模态检索问题，尽可能多地保留图像语义信息的同时减小模态的异质性。其次，设计了一个模态一致性哈希网络，将真实的图像特征和通过生成性对抗网络生成的特征投影到汉明空间中，并且利用标签信息对模态间和模态内的相似性进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性，获得更具判别性的哈希码。最后在两个常用的基准数据集上的实验结果表明本方法与现有的流行方法相比具有更好的跨模态检索性能。