基于对比-生成式预训练模型的遥感问答系统

    公开(公告)号:CN119445394A

    公开(公告)日:2025-02-14

    申请号:CN202411588777.4

    申请日:2024-11-08

    Applicant: 河海大学

    Abstract: 本发明公开了基于对比‑生成式预训练模型的遥感问答系统,首先搜集分类、语义分割、目标检测、图文检索和图像文本生成等任务的遥感图像作为原始数据,并统一转换为图文对形式。通过分割处理计算类别面积占比,检测目标类别及其位置信息,并通过CLIP模型进行零样本分类。接着,将多源信息输入多模态大语言模型,根据问题生成图像的文本描述,完成遥感全局视觉问答数据集的构造。同时,基于标注框裁切图片并送入多模态大语言模型,以获得遥感局部视觉问答数据集。然后,分由粗到精两阶段预训练对比‑生成式模型,使其具备全局‑局部级遥感知识与视觉问答能力。最后通过构建用户友好的系统界面,实现与用户的问答交互。

Patent Agency Ranking