公开(公告)号：CN117830638B

公开(公告)日：2024-07-19

申请号：CN202410239251.9

申请日：2024-03-04

Applicant: 厦门大学

Inventor： 孙晓帅 ,  黄鸣浪 ,  纪荣嵘 ,  周毅奕

IPC: G06V10/26 ,  G06V10/778 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明提供基于提示文本的面向全方位监督语义分割方法，能有效利用各种低成本图像标签以减少训练数据集的人工标注成本，达到降低语义分割方法训练成本的目的，提高语义分割模型的性能和泛化性，并通过结合视觉语言多模态模型，输入提示文本来指导模型筛选图像中的语义分割目标，通过提示文本定位出图像中目标所在位置。该语义分割方法基于教师‑学生模型框架进行改进并利用人工标注的图像全方位标签监督训练模型，包括：步骤1、计算全方位监督时教师‑学生模型框架的损失函数#imgabs0#；步骤2、通过指数移动平均算法更新教师模型的权重#imgabs1#。

公开(公告)号：CN117830638A

公开(公告)日：2024-04-05

申请号：CN202410239251.9

申请日：2024-03-04

Applicant: 厦门大学

Inventor： 孙晓帅 ,  黄鸣浪 ,  纪荣嵘 ,  周毅奕

IPC: G06V10/26 ,  G06V10/778 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明提供基于提示文本的面向全方位监督语义分割方法，能有效利用各种低成本图像标签以减少训练数据集的人工标注成本，达到降低语义分割方法训练成本的目的，提高语义分割模型的性能和泛化性，并通过结合视觉语言多模态模型，输入提示文本来指导模型筛选图像中的语义分割目标，通过提示文本定位出图像中目标所在位置。该语义分割方法基于教师‑学生模型框架进行改进并利用人工标注的图像全方位标签监督训练模型，包括：步骤1、计算全方位监督时教师‑学生模型框架的损失函数#imgabs0#；步骤2、通过指数移动平均算法更新教师模型的权重#imgabs1#。