-
公开(公告)号:CN117194605A
公开(公告)日:2023-12-08
申请号:CN202311474216.7
申请日:2023-11-08
Applicant: 中南大学
IPC: G06F16/31 , G16H15/00 , G16H30/20 , G06N3/0464 , G06N3/048 , G06N3/08 , G06F16/33 , G06F16/35 , G06F16/51 , G06F16/55 , G06F16/583
Abstract: 本发明公开了一种用于多模态医学数据缺失的哈希编码方法、终端及介质,包括如下步骤:对多模态医学数据进行标签抽取,然后构建随机化的语义相似度标签空间,构建视觉编码器和文本编码器对医学图像和医学报告进行深度语义哈希编码,构建随机化的语义相似度嵌入空间,生成统一语义相似度损失子空间,然后训练视觉编码器和文本编码器以进行多模态医学数据的深度语义哈希编码。本发明在能充分利用医学图像和医学报告的模态内一致性和模态间互补性的同时,能有效解决多模态医学数据中部分数据缺失的问题,并且还克服了成对医学数据所带来的假阴性和大规模多模态医学数据的存储消耗问题。
-
公开(公告)号:CN116414867B
公开(公告)日:2023-08-22
申请号:CN202310684479.4
申请日:2023-06-12
Applicant: 中南大学
IPC: G06F16/2453 , G06F16/2455 , G06F18/213 , G06F18/23213 , G06F18/25 , G06F123/02
Abstract: 本发明公开了一种基于量化哈希编码的时空数据检索方法,包括:S1,提取待检索的原始数据的时间信息和空间信息,形成序列化编码。S2,对序列化编码聚类,得到编码矩阵。S3,提取原始数据的原始特征向量,然后核化得到语义特征矩阵。S4,将语义特征矩阵与编码矩阵进行拼接,得到语义融合矩阵。S5,基于min‑hash算法和随机分桶映射,获得哈希检索函数。S6,对语义融合矩阵基于段长来得到下标,然后转换为二进制数并拼接得到语义融合量化码,形成时空量化码。S7,基于哈希检索函数执行检索。本发明通过将时间和空间特征与传统哈希编码融合学习,使得量化码具备了时空特征,从而提高大规模时空检索的检索速度和检索效率。
-
-
公开(公告)号:CN119474019B
公开(公告)日:2025-04-22
申请号:CN202510036163.3
申请日:2025-01-09
Applicant: 中南大学
IPC: G06F16/13 , G06N3/0464 , G06N3/084 , G06F18/241 , G06F18/25
Abstract: 本申请涉及了一种面向流数据的持续哈希学习检索方法和装置,本方法构建了哈希检索模型,哈希检索模型训练过程引入持续学习框架,首先通过残差网络基于自监督学习从无标签的训练流数据中提取出第一特征,卷积神经网络能够利用第一特征快速学习有标签的样本数据,并将学习到的第二特征反馈给残差网络,以巩固残差网络;训练流数据包括实时采集的第一实时流数据和数据库中的预存流数据,这样模型能够在不断学习新的实时流数据同时避免对旧的预存流数据知识的遗忘,而且持续学习框架还与哈希函数有效连接,利用残差网络和卷积神经网络持续学习进而提取的特征指导哈希函数的学习,不断提高生成的哈希码质量,进一步提升检索性能。
-
公开(公告)号:CN119830222A
公开(公告)日:2025-04-15
申请号:CN202510300843.1
申请日:2025-03-14
Applicant: 中南大学
IPC: G06F18/25 , G06N3/042 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/096 , G06F18/213 , G06F18/28
Abstract: 本申请公开了一种基于注意力机制的跨模态哈希检索方法,包括:获取第一多模态数据;将第一多模态数据输入检索与表示学习模型,得到目标融合离散哈希码,目标融合离散哈希码用于对第一多模态数据进行检索;其中,检索与表示学习模型通过以下步骤得到:获取多个训练样本,训练样本包括第二多模态数据和第一融合离散哈希码;基于损失函数,将多个训练样本输入初始检索与表示学习模型进行模型迭代训练,直至损失函数值达到预设的收敛值,得到检索与表示学习模型,其中,初始检索与表示学习模型基于卷积神经网络、词袋模型、Transformer编码器和/或跨模态注意力机制构建。
-
公开(公告)号:CN115686868A
公开(公告)日:2023-02-03
申请号:CN202211692053.5
申请日:2022-12-28
Applicant: 中南大学
Abstract: 本发明公开了一种基于联邦哈希学习的面向跨节点多模态检索方法,通过云中心服务器向各边缘节点下发深度哈希模型,并接收各边缘节点训练模型后上传的模型参数,再由云中心服务器对参数进行融合更新后,再下发到各边缘节点继续循环训练直至得到最终模型。训练完成后,云中心服务器根据待检索数据来基于最终模型生成待检索哈希码,然后计算待检索哈希码与存储的哈希码之间的汉明距离,再以距离最小的哈希码对应的原始数据位置信息来提供原始数据检索结果,本发明通过将联邦学习运用到哈希的检索方法中,可以实现多边缘节点数据跨模态的高效检索。
-
公开(公告)号:CN119226447B
公开(公告)日:2025-04-04
申请号:CN202411756952.6
申请日:2024-12-03
Applicant: 中南大学
IPC: G06F16/334 , G06F16/583 , G06F18/22 , G06F18/25 , G06V10/44 , G06F40/30 , G06N3/0464
Abstract: 本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备,本方法首先获得样本对的图像特征向量和文本特征向量,并得到融合特征向量;然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系,捕获对象样本之间的成对关系的核心共性;然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度,根据第二相似度构建损失函数,最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索,解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性,导致跨模态数据检索准确率不足的问题,实现对多模态的数据进行高精度跨模态检索。
-
公开(公告)号:CN119474019A
公开(公告)日:2025-02-18
申请号:CN202510036163.3
申请日:2025-01-09
Applicant: 中南大学
IPC: G06F16/13 , G06N3/0464 , G06N3/084 , G06F18/241 , G06F18/25
Abstract: 本申请涉及了一种面向流数据的持续哈希学习检索方法和装置,本方法构建了哈希检索模型,哈希检索模型训练过程引入持续学习框架,首先通过残差网络基于自监督学习从无标签的训练流数据中提取出第一特征,卷积神经网络能够利用第一特征快速学习有标签的样本数据,并将学习到的第二特征反馈给残差网络,以巩固残差网络;训练流数据包括实时采集的第一实时流数据和数据库中的预存流数据,这样模型能够在不断学习新的实时流数据同时避免对旧的预存流数据知识的遗忘,而且持续学习框架还与哈希函数有效连接,利用残差网络和卷积神经网络持续学习进而提取的特征指导哈希函数的学习,不断提高生成的哈希码质量,进一步提升检索性能。
-
公开(公告)号:CN119226447A
公开(公告)日:2024-12-31
申请号:CN202411756952.6
申请日:2024-12-03
Applicant: 中南大学
IPC: G06F16/33 , G06F16/583 , G06F18/22 , G06F18/25 , G06V10/44 , G06F40/30 , G06N3/0464
Abstract: 本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备,本方法首先获得样本对的图像特征向量和文本特征向量,并得到融合特征向量;然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系,捕获对象样本之间的成对关系的核心共性;然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度,根据第二相似度构建损失函数,最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索,解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性,导致跨模态数据检索准确率不足的问题,实现对多模态的数据进行高精度跨模态检索。
-
公开(公告)号:CN116414867A
公开(公告)日:2023-07-11
申请号:CN202310684479.4
申请日:2023-06-12
Applicant: 中南大学
IPC: G06F16/2453 , G06F16/2455 , G06F18/213 , G06F18/23213 , G06F18/25 , G06F123/02
Abstract: 本发明公开了一种基于量化哈希编码的时空数据检索方法,包括:S1,提取待检索的原始数据的时间信息和空间信息,形成序列化编码。S2,对序列化编码聚类,得到编码矩阵。S3,提取原始数据的原始特征向量,然后核化得到语义特征矩阵。S4,将语义特征矩阵与编码矩阵进行拼接,得到语义融合矩阵。S5,基于min‑hash算法和随机分桶映射,获得哈希检索函数。S6,对语义融合矩阵基于段长来得到下标,然后转换为二进制数并拼接得到语义融合量化码,形成时空量化码。S7,基于哈希检索函数执行检索。本发明通过将时间和空间特征与传统哈希编码融合学习,使得量化码具备了时空特征,从而提高大规模时空检索的检索速度和检索效率。
-
-
-
-
-
-
-
-
-