公开(公告)号：CN117131923A

公开(公告)日：2023-11-28

申请号：CN202311162846.0

申请日：2023-09-06

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张正 ,  原旭 ,  卢光明

IPC: G06N3/094 ,  G06N3/084 ,  G06N3/045 ,  G06N3/0475 ,  G06F18/214 ,  G06F18/22 ,  G06F21/57 ,  G06F40/295 ,  G06V10/25 ,  G06V10/82

Abstract: 本申请公开了一种针对跨模态学习的后门攻击方法及相关装置，方法包括获取待攻击的文本数据和图像数据；基于图像数据中的物体与文本数据的相似度，选取部分关键物体生成图像模态不变组件；基于文本数据中的单词与图像数据的相似度，选取部分关键单词生成文本模态不变组件；基于图像数据和图像模态不变组件生成中毒图像数据；基于文本数据和文本模态不变组件生成中毒文本数据；混合中毒图像数据，中毒文本数据和原始干净数据，生成中毒多模态数据集。本申请通过图像模态不变组件和图像触发生成器生成中毒图像数据，文本模态不变组件和文本触发器生成的中毒文本数据，实现了一个针对跨模态学习的统一的后门攻击框架，并提高了后门攻击的隐蔽性。

公开(公告)号：CN116992090A

公开(公告)日：2023-11-03

申请号：CN202310789952.5

申请日：2023-06-28

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张正 ,  原旭

IPC: G06F16/901 ,  G06F18/22 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/094

Abstract: 本申请公开了一种基于对抗训练的哈希检索方法及相关装置，方法包括基于训练样本的所有正样本和所有负样本来生成中枢码，以中枢码为监督信息采用极小极大策略对深度哈希模型进行对抗训练，然后基于经过对抗训练的深度哈希模型对待查询样本进行哈希检索，以得到待查询样本对应的预设数量的数据样本。本申请采用具有全局语义代表的中枢码作为监督信息，通过中枢码所携带的与所有正样本的相似性和负样本的不相似性，可以有效地指导深度哈希模型的对抗学习；同时，采用极小极大策略对深度哈希模型进行训练，可以进一步增强深度哈希模型的对抗鲁棒性，从而可以提高基于深度哈希模型进行哈希检索的安全性。