公开(公告)号：CN117036711A

公开(公告)日：2023-11-10

申请号：CN202311064941.7

申请日：2023-08-23

Applicant: 南京信息工程大学

Inventor： 苏京峰 ,  李军侠

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06N3/042 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/0455 ,  G06N3/082

Abstract: 本发明公开了一种基于注意力调节的弱监督语义分割方法，探索Transformer在弱监督语义分割任务中的应用。基于Transformer的方法会使用注意力对类激活图进行优化，然而由于部分类与块之间的注意力存在错误，导致优化之后得到的类激活图存在不完全激活问题。针对此问题，本发明提出了一种新颖的弱监督语义分割框架，在该框架中设计了一个注意力调节策略，根据块与块之间的注意力来调节类与块之间的注意力，调节后的注意力可以激活更多的目标区域。在PASCAL VOC 2012数据集和MS COCO 2014数据集上与最新的方法进行比较，本发明方法均取得了最优的结果。

公开(公告)号：CN116912501A

公开(公告)日：2023-10-20

申请号：CN202310981553.9

申请日：2023-08-04

Applicant: 南京信息工程大学

Inventor： 苏京峰 ,  李军侠

IPC: G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于注意力融合的弱监督语义分割方法，涉及计算机视觉技术领域，以Vision Transformer为基本网络结构，提出了一个简单而有效的弱监督语义分割框架。在该框架中，首先设计了一个自适应注意力融合模块，对不同层注意力分配不同的权重，融合之后的注意力在保留目标细节的同时也能较好地抑制背景噪声。此外针对注意力中次重要的区域不能够较好的激活目标区域这一问题，设计了一个调制函数用来增大次重要区域的注意力值，有效的突出目标区域。然后使用调制后的注意力对粗糙的类激活图进行优化，此时得到的类激活图中目标区域能够被更加完整且准确的激活，能够较好的解决类激活图的不完全激活问题。