-
公开(公告)号：CN113536067A
公开(公告)日：2021-10-22
申请号：CN202110818202.7
申请日：2021-07-20
Applicant: 南京邮电大学
IPC: G06F16/903 , G06F16/904 , G06K9/62
Abstract: 本发明公开了一种基于语义融合的跨模态信息检索方法，包括：采集原始数据，并对所述原始数据进行预处理；将所述预处理后的原始数据分别进行特征提取和模型训练，得到不同的模态特征；将所述不同的模态特征输入到同一网络中进行语义融合，得到语义融合网络模型；基于所述语义融合网络模型以及查询集样本进行检索，完成跨模态信息检索。本发明克服了传统的图像‑文本两种模态的跨模态检索，实现了图像、音频、触觉信号三种模态的跨模态信息检索；对触觉信号的预处理方法，可以将原始的一维序列信号进行二维可视化，从而可以与原始图像进行语义关联达到检索的目的。
-
公开(公告)号：CN113536377A
公开(公告)日：2021-10-22
申请号：CN202110819110.0
申请日：2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
-
公开(公告)号：CN113536067B
公开(公告)日：2024-01-05
申请号：CN202110818202.7
申请日：2021-07-20
Applicant: 南京邮电大学
IPC: G06F16/903 , G06F16/904 , G06F18/25
Abstract: 本发明公开了一种基于语义融合的跨模态信息检索方法，包括：采集原始数据，并对所述原始数据进行预处理；将所述预处理后的原始数据分别进行特征提取和模型训练，得到不同的模态特征；将所述不同的模态特征输入到同一网络中进行语义融合，得到语义融合网络模型；基于所述语义融合网络模型以及查询集样本进行检索，完成跨模态信息检索。本发明克服了传统的图像‑文本两种模态的跨模态检索，实现了图像、音频、触觉信号三种模态的跨模态信息检索；对触觉信号的预处理方法，可以将原始的一维序列信号进行二维可视化，从而可以与原始图像进行语义关联达到检索的目的。
-
公开(公告)号：CN113536377B
公开(公告)日：2023-09-05
申请号：CN202110819110.0
申请日：2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
-
-
-
Search Results
4
records
(took 0.016 seconds)
