公开(公告)号：CN118211093A

公开(公告)日：2024-06-18

申请号：CN202410292798.5

申请日：2024-03-14

Applicant: 北京工业大学

Inventor： 王博岳 ,  贺霞霞 ,  任昊昆 ,  李笑颜 ,  胡永利 ,  尹宝才

IPC: G06F18/2323 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开一种基于生成图结构匹配的混合模态聚类方法及装置，利用自编码器模块将混合模态数据投影到不同的特征空间，计算不同模态数据的特征矩阵；建立不同模态特征空间之间的双向映射，生成缺失模态的伪表示；构建同一模态中现有表示和伪表示之间的模态内二分图，指导缺失模态数据的特征表示生成，获得数据完整的模态信息；在此基础上为每个模态构建一个单独的图，通过执行图卷积运算捕获样本之间的全局结构，采用图匹配机制，实现异质模态特征对齐；因此能够在没有成对模态数据的情况下生成缺失模态信息，对齐异质模态数据特征，将缺失模态生成和异质模态对齐整合到统一的框架中，有效挖掘混合模态数据之间的内在相关性，取得更好的聚类结果。