公开(公告)号：CN119474418A

公开(公告)日：2025-02-18

申请号：CN202411506302.6

申请日：2024-10-28

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 郑超群 ,  左瑞帆 ,  胡国城 ,  董祥军 ,  管红娇 ,  任晓强 ,  赵龙

IPC: G06F16/48 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/0985 ,  G06F18/213 ,  G06F18/22

Abstract: 本发明公开了基于多视角中心结构的多模态哈希检索方法、系统、设备及介质，属于人工智能及多模态哈希检索技术领域，本发明要解决的技术问题为多模态哈希检索过程中类内紧凑性和类间可分性之间取得平衡，采用的技术方案为：构建多模态数据集；构建基于多视角中心结构的多模态哈希检索模型；训练模型；其中，构建基于多视角中心结构的多模态哈希检索模型具体如下：模态特定原型学习：利用图像模态深度多层感知器和文本模态深度多层感知器分别从对应模态中提取细化特征，并计算图像模态和文本模态细化特征的平均值获取模态特定原型，进而获取图像模态的独特特征和文本模态的独特特征；多模态集成类原型学习；多视角语义增强哈希学习。

公开(公告)号：CN119474417A

公开(公告)日：2025-02-18

申请号：CN202411506301.1

申请日：2024-10-28

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 郑超群 ,  左瑞帆 ,  鹿文鹏 ,  张维玉 ,  乔新晓 ,  司加胜

IPC: G06F16/48 ,  G06N3/0455 ,  G06N3/096 ,  G06F18/213 ,  G06F18/25 ,  G06N3/09 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了基于原型的联邦医学多模态哈希检索方法、系统、设备及介质，属于联邦学习及多模态哈希检索技术领域，本发明要解决的技术问题为如何在多模态哈希检索过程中有效地保障医学数据的隐私性和安全性，避免因数据的不平衡造成的失衡缺陷，采用的技术方案为：构建医学多模态数据集；构建基于原型的联邦医学多模态哈希检索模型：利用神经网络和深度学习技术构建基于原型的联邦医学多模态哈希检索模型；训练模型：利用最终的数据集对基于原型的联邦医学多模态哈希检索模型进行训练；构建基于原型的联邦医学多模态哈希检索模型具体如下：医学多模态融合；原型参数增强学习；哈希检索查询。

公开(公告)号：CN118035470A

公开(公告)日：2024-05-14

申请号：CN202410349165.3

申请日：2024-03-26

Applicant: 山东省计算中心(国家超级计算济南中心)

Inventor： 郑超群 ,  左瑞帆 ,  管红娇 ,  鹿文鹏

IPC: G06F16/43 ,  G06F16/483 ,  G06F18/25 ,  G06F40/30 ,  G06F40/289 ,  G06V20/70 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了基于深度语义代理的多模态哈希检索方法、系统、设备及介质，属于人工智能及多模态哈希检索技术领域，本发明要解决的技术问题为多模态哈希检索过程中多模态融合不充分的问题以及忽略的数据本身与监督语义之间的关联弱，技术方案为：构建多模态数据集：获取图像模态和文本模态数据集，并进行预处理，再使用CLIP预训练模型对图像模态和文本模态数据集进行深度特征提取，并按照比例构建训练集、测试集和检索集，再组合生成最终的数据集；构建基于深度语义代理的多模态哈希检索模型：利用神经网络和深度学习方法构建基于深度语义代理的多模态哈希检索模型；训练模型：利用最终的数据集对基于深度语义代理的多模态哈希检索模型进行训练。

公开(公告)号：CN118013056A

公开(公告)日：2024-05-10

申请号：CN202410311467.1

申请日：2024-03-19

Applicant: 山东省计算中心(国家超级计算济南中心)

Inventor： 郑超群 ,  左瑞帆 ,  鹿文鹏 ,  任晓强

IPC: G06F16/43 ,  G06F16/483 ,  G06N3/0455 ,  G06N3/098 ,  G06F21/60 ,  G06F21/62

Abstract: 本发明公开了基于原型隐私加密的联邦跨模态哈希检索方法、系统、介质及设备，属于联邦学习及跨模态检索技术领域，本发明要解决的技术问题为如何在联邦跨模态哈希检索过程中有效地保障数据的隐私性和安全性，避免隐私泄露，技术方案为：构建数据集；深度特征提取；构建联邦跨模态哈希检索模型：利用神经网络和深度学习方法构建基于原型隐私加密的联邦跨模态哈希检索模型；训练模型：在最终数据集中对基于原型隐私加密的联邦跨模态哈希检索模型进行训练；其中，构建联邦跨模态哈希检索模型具体如下：原型隐私安全对称加密；个性化知识保存；哈希检索查询：通过客户端生成的哈希码进行检索查询，获取平均精度均值作为检索性能的评估指标。