公开(公告)号：CN114691897B

公开(公告)日：2025-05-16

申请号：CN202210284064.3

申请日：2022-03-22

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张正 ,  安峻枫 ,  卢光明

IPC: G06F16/41 ,  G06F16/432 ,  G06F16/48 ,  G06N3/08

Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备，本发明提供的方法，在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质，设计各自模态数据的特征学习网络，根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小，对每一个模态特征确定可学习的权重，根据权重来对各个模态的特征进行融合，实现了根据训练样本自身特性完成自适应权重的信息融合；使融合后的共有特征与哈希码的差异最小化，此过程加入从预设标签中提取的可伸缩语义特征，对哈希函数的参数进行自动更新，实现了特征空间与哈希空间的对齐，使用标签语义信息监督参数更新，能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。

公开(公告)号：CN114691897A

公开(公告)日：2022-07-01

申请号：CN202210284064.3

申请日：2022-03-22

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张正 ,  安峻枫 ,  卢光明

IPC: G06F16/41 ,  G06F16/432 ,  G06F16/48 ,  G06N3/04

Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备，本发明提供的方法，在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质，设计各自模态数据的特征学习网络，根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小，对每一个模态特征确定可学习的权重，根据权重来对各个模态的特征进行融合，实现了根据训练样本自身特性完成自适应权重的信息融合；使融合后的共有特征与哈希码的差异最小化，此过程加入从预设标签中提取的可伸缩语义特征，对哈希函数的参数进行自动更新，实现了特征空间与哈希空间的对齐，使用标签语义信息监督参数更新，能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。