公开(公告)号：CN115512169A

公开(公告)日：2022-12-23

申请号：CN202211395308.1

申请日：2022-11-09

Applicant: 之江实验室

Inventor： 张鼎文 ,  薛文灏 ,  张晓 ,  程乐超 ,  方超伟 ,  韩军伟

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V20/70 ,  G06V10/26

Abstract: 本发明公开了基于梯度和区域亲和力优化的弱监督语义分割方法及装置，本方法提出的基于视觉Transformer的弱监督语义分割框架，可以保留精确的图像结构信息，反映像素间长距离语义关联。本发明从自注意力模块中提取梯度加权的类相关物体定位图和区域亲和度关联图，用于优化通过Transformer分类网络生成的类激活图，可以有效扩大激活区域，并使用显著性约束提高激活区域的边界质量，缓解边界被错误划分现象，为分割模型提供高质量的物体定位图；在类激活图中广泛使用的二值交叉熵(BCE)损失使CAM中每个像素可以响应于同一感受野中出现的多个类别，是造成像素标注错误的重要原因。

公开(公告)号：CN115512169B

公开(公告)日：2023-07-25

申请号：CN202211395308.1

申请日：2022-11-09

Applicant: 之江实验室

Inventor： 张鼎文 ,  薛文灏 ,  张晓 ,  程乐超 ,  方超伟 ,  韩军伟

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V20/70 ,  G06V10/26

Abstract: 本发明公开了基于梯度和区域亲和力优化的弱监督语义分割方法及装置，本方法提出的基于视觉Transformer的弱监督语义分割框架，可以保留精确的图像结构信息，反映像素间长距离语义关联。本发明从自注意力模块中提取梯度加权的类相关物体定位图和区域亲和度关联图，用于优化通过Transformer分类网络生成的类激活图，可以有效扩大激活区域，并使用显著性约束提高激活区域的边界质量，缓解边界被错误划分现象，为分割模型提供高质量的物体定位图；在类激活图中广泛使用的二值交叉熵(BCE)损失使CAM中每个像素可以响应于同一感受野中出现的多个类别，是造成像素标注错误的重要原因。