公开(公告)号：CN119152506A

公开(公告)日：2024-12-17

申请号：CN202411649679.7

申请日：2024-11-19

Applicant: 之江实验室

Inventor： 杨嵘 ,  姚柯璐 ,  李超 ,  许诺

IPC: G06V20/70 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042

Abstract: 本发明公开了一种基于迭代推理的光学遥感图像标注引擎构建方法及装置；本方法可以作为光学遥感图像训练样本人工标注方法的一种补充，降低光学遥感图像训练数据的标注成本和难度。本方法面向多模态大模型的训练作业场景，旨在基于海量的真实光学遥感图像生成多粒度多模态的合成标注数据集，从而支撑多模态大模型在图像分类、图像描述、图像问答、图像区域分类、图像区域描述、图像区域问答、目标检测、Vision Grounding、目标掩膜提取、实例分割、引用表达分割等多种光学遥感图像解译任务上的训练。本发明使单一模型具备处理各种空间层次结构和语义粒度的能力。

公开(公告)号：CN119152506B

公开(公告)日：2025-02-14

申请号：CN202411649679.7

申请日：2024-11-19

Applicant: 之江实验室

Inventor： 杨嵘 ,  姚柯璐 ,  李超 ,  许诺

IPC: G06V20/70 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042

Abstract: 本发明公开了一种基于迭代推理的光学遥感图像标注引擎构建方法及装置；本方法可以作为光学遥感图像训练样本人工标注方法的一种补充，降低光学遥感图像训练数据的标注成本和难度。本方法面向多模态大模型的训练作业场景，旨在基于海量的真实光学遥感图像生成多粒度多模态的合成标注数据集，从而支撑多模态大模型在图像分类、图像描述、图像问答、图像区域分类、图像区域描述、图像区域问答、目标检测、Vision Grounding、目标掩膜提取、实例分割、引用表达分割等多种光学遥感图像解译任务上的训练。本发明使单一模型具备处理各种空间层次结构和语义粒度的能力。

公开(公告)号：CN119152373A

公开(公告)日：2024-12-17

申请号：CN202411595306.6

申请日：2024-11-11

Applicant: 之江实验室

Inventor： 许诺 ,  姚柯璐 ,  李超 ,  杨嵘

IPC: G06V20/10 ,  G06V20/70 ,  G06F16/53 ,  G06F16/583 ,  G06F40/16

Abstract: 本发明公开了一种基于天基遥感模型的遥感图像处理方法、系统、电子设备、介质，包括：获取遥感图像数据，并标注；针对遥感图像处理任务设置任务描述指令，设计提示词模板，将任务描述指令填入提示词模板中再输入至大语言模型，实现对任务描述指令的扩展，得到任务描述指令集；针对遥感图像处理任务设置输出形式指令，将输出形式指令填入提示词模板中再输入至大语言模型，实现对输出形式指令的扩展，得到输出形式指令集；基于标注后的遥感图像数据、任务描述指令集、输出形式指令集构建多模态对话数据集；利用多模态对话数据集训练天基遥感模型；训练好的天基遥感模型用于根据输入的待处理遥感图像、任务描述指令、输出形式指令，输出回答。