-
公开(公告)号：CN113536067B
公开(公告)日：2024-01-05
申请号：CN202110818202.7
申请日：2021-07-20
Applicant: 南京邮电大学
IPC: G06F16/903 , G06F16/904 , G06F18/25
Abstract: 本发明公开了一种基于语义融合的跨模态信息检索方法，包括：采集原始数据，并对所述原始数据进行预处理；将所述预处理后的原始数据分别进行特征提取和模型训练，得到不同的模态特征；将所述不同的模态特征输入到同一网络中进行语义融合，得到语义融合网络模型；基于所述语义融合网络模型以及查询集样本进行检索，完成跨模态信息检索。本发明克服了传统的图像‑文本两种模态的跨模态检索，实现了图像、音频、触觉信号三种模态的跨模态信息检索；对触觉信号的预处理方法，可以将原始的一维序列信号进行二维可视化，从而可以与原始图像进行语义关联达到检索的目的。
-
Patent Agency Ranking
公开(公告)号：CN113536377B
公开(公告)日：2023-09-05
申请号：CN202110819110.0
申请日：2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
-
公开(公告)号：CN113468386B
公开(公告)日：2023-10-20
申请号：CN202110748308.4
申请日：2021-07-01
Applicant: 南京邮电大学
IPC: G06F16/903
Abstract: 本发明揭示了一种基于哈希学习的跨模态材料表面检索方法及装置，该方法包括以下步骤：S1：获取训练数据集，每个材料表面样本包括视觉图片和触觉加速度；S2：对训练集进行符号化表示，建立两个并行的深度网络，得到视觉和触觉的特征表示；S3：将得到的不同模态特征表示分别输入自注意力网络，得到不同模态自注意力特征；S4：建立哈希层，将得到的视触自注意力实值特征转化为二进制哈希码，同时建立模态内中心约束并利用跨模态损失函数优化整个网络；S5：建立跨模态材料表面检索装置，实现跨模态检索。采用本方法能够充分融合视觉触觉之间的信息，将视触信息的最终特征表示转化为低维二进制哈希码，减少了跨模态检索的存储及检索成本。
-
公开(公告)号：CN113536067A
公开(公告)日：2021-10-22
申请号：CN202110818202.7
申请日：2021-07-20
Applicant: 南京邮电大学
IPC: G06F16/903 , G06F16/904 , G06K9/62
Abstract: 本发明公开了一种基于语义融合的跨模态信息检索方法，包括：采集原始数据，并对所述原始数据进行预处理；将所述预处理后的原始数据分别进行特征提取和模型训练，得到不同的模态特征；将所述不同的模态特征输入到同一网络中进行语义融合，得到语义融合网络模型；基于所述语义融合网络模型以及查询集样本进行检索，完成跨模态信息检索。本发明克服了传统的图像‑文本两种模态的跨模态检索，实现了图像、音频、触觉信号三种模态的跨模态信息检索；对触觉信号的预处理方法，可以将原始的一维序列信号进行二维可视化，从而可以与原始图像进行语义关联达到检索的目的。
-
公开(公告)号：CN113536377A
公开(公告)日：2021-10-22
申请号：CN202110819110.0
申请日：2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
-
公开(公告)号：CN113468386A
公开(公告)日：2021-10-01
申请号：CN202110748308.4
申请日：2021-07-01
Applicant: 南京邮电大学
IPC: G06F16/903
Abstract: 本发明揭示了一种基于哈希学习的跨模态材料表面检索方法及装置，该方法包括以下步骤：S1：获取训练数据集，每个材料表面样本包括视觉图片和触觉加速度；S2：对训练集进行符号化表示，建立两个并行的深度网络，得到视觉和触觉的特征表示；S3：将得到的不同模态特征表示分别输入自注意力网络，得到不同模态自注意力特征；S4：建立哈希层，将得到的视触自注意力实值特征转化为二进制哈希码，同时建立模态内中心约束并利用跨模态损失函数优化整个网络；S5：建立跨模态材料表面检索装置，实现跨模态检索。采用本方法能够充分融合视觉触觉之间的信息，将视触信息的最终特征表示转化为低维二进制哈希码，减少了跨模态检索的存储及检索成本。
-
-
-
-
-
Search Results
6
records
(took 0.012 seconds)
