-
公开(公告)号:CN118013064A
公开(公告)日:2024-05-10
申请号:CN202410115258.X
申请日:2024-01-26
Applicant: 华中科技大学
Abstract: 本发明公开了一种历史建筑跨模态检索方法、系统及介质,属于历史建筑及计算机视觉领域,方法包括:获取并生成历史建筑的文本特征向量Xα和图像特征向量Xβ;对Xα中的各词向量#imgabs0#进行嵌入处理后与查询权值矩阵Qα相乘,得到相应的查询向量#imgabs1#对Xβ中的各图像向量#imgabs2#进行嵌入处理后分别与键权值矩阵Kβ、值权值矩阵Vβ相乘,得到相应的键向量#imgabs3#和值向量#imgabs4#利用#imgabs5#进行基于注意力机制的计算,得到融合向量;将各历史建筑及其融合向量添加至HBIM数据库,以完成所述HBIM数据库的构建;计算输入的检索数据与所述HBIM数据库中各融合向量之间的相似度,输出相似度最高的若干个融合向量对应的历史建筑。