公开(公告)号：CN118673055A

公开(公告)日：2024-09-20

申请号：CN202410673596.5

申请日：2024-05-28

Applicant: 北京京航计算通讯研究所

Inventor： 宇文瑾 ,  闫鑫 ,  刘玉蓉 ,  姚帅 ,  曹胜利 ,  史小龙 ,  贾月桥 ,  郭小星 ,  武丽俐 ,  邢艳芳

IPC: G06F16/2457 ,  G06F16/242 ,  G06F16/215 ,  G06F16/26 ,  G06N3/084 ,  G06F17/16 ,  G06F17/18

Abstract: 本发明涉及一种基于多模态的航天装备数据检索系统，属于语义处理技术领域，解决了现有检索效率低和检索结果不精准的问题。包括：数据采集模块采集多模态数据和用户交互数据；数据预处理模块根据用户交互数据构建第一多模态相关性矩阵；特征提取模块引入第一多模态相关性矩阵对预训练好的多模态大模型进行微调而得到多模态嵌入模型，并提取出多模态数据的特征向量；HNSW图构建模块根据多模态数据的特征向量和第一多模态相关性矩阵构建HNSW图；数据检索模块更新第一多模态相关性矩阵得到第二多模态相关性矩阵；根据待检索数据的待检索特征向量和第二多模态相关性矩阵利用HNSW图得到检索结果。实现了精准的多模态数据检索。