公开(公告)号：CN111626300A

公开(公告)日：2020-09-04

申请号：CN202010375529.7

申请日：2020-05-07

Applicant: 南京邮电大学

Inventor： 周全 ,  李圣华 ,  刘嘉 ,  王杰 ,  强勇 ,  樊亚文 ,  吴晓富

IPC: G06K9/34 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种基于上下文感知的图像语义分割模型，包括：编码骨干网、解码器；编码骨干网和解码器之间连接有稠密注意力上下文网络；稠密注意力上下文网络包括分级细化残差模块、联合通道注意力模块、堆叠模块和注意力增强的空间金字塔模块。本申请还公开了上述模型的建模方法。本申请的图像语义分割模型中的稠密注意力上下文网络采用分级细化残差模块HRRB、联合通道注意力模块JCA和注意力增强的空间金字塔模块APSM的结合充分提取并融合来自不同骨干层的信息，得到高分辨率的特征图，为后续的解码端提供感受野丰富的信息，增强图像语义分割的精度。

公开(公告)号：CN111091130A

公开(公告)日：2020-05-01

申请号：CN201911280783.2

申请日：2019-12-13

Applicant: 南京邮电大学

Inventor： 周全 ,  刘嘉 ,  王杰 ,  李圣华 ,  强勇

IPC: G06K9/34 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于轻量级卷积神经网络的实时图像语义分割方法及系统，所述系统包括下采样单元、上采样单元和极致高效残差模块；下采样单元降低分辨率和改变通道数；上采样单元提升分辨率，并且改变通道数；极致高效残差模块由1D分解卷积、高效的深度可分离卷积和具有不同扩张率的扩张卷积构成，用于提取特征。本发明的整体网络架构是一种高效非对称多分支的编解码结构，没有使用额外的后处理策略和预训练模型，与目前最先进的轻量级网络模型相比，本发明提出的网络架构及分割方法实现了分割精度和实施效率之间的最佳平衡，成为解决实时图像语义分割任务的一种有效方法。

公开(公告)号：CN113066089B

公开(公告)日：2023-07-11

申请号：CN202110366778.4

申请日：2021-04-06

Applicant: 南京邮电大学

Inventor： 周全 ,  刘嘉 ,  强勇 ,  王林杰 ,  施慧民 ,  孙振涵

IPC: G06V10/26 ,  G06V10/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于注意力引导机制的实时图像语义分割方法，包括下采样单元，上采样单元，极致高效残差模块，自适应注意力模块以及自适应融合模块。整体网络结构的特征提取单元为极致高效残差模块，使用自适应注意力模块ASAM有效减小了模块的计算复杂度，且能捕捉到有效像素点之间的相关性信息；并通过自适应融合模块ASFM将低级与高级特征连接起来，在语义分割中，将不同层次的特征连接起来；通过对以上五个组件进行堆叠，构建基于注意力机制的实时语义分割网络，其中编码器生成下采样的特征图，解码器对深层的特征图进行上采样以匹配输入图像分辨率，恢复图像的空间信息并向分割类别映射，最终生成与输入图像相同分辨率的语义分割结果图。

公开(公告)号：CN113066089A

公开(公告)日：2021-07-02

申请号：CN202110366778.4

申请日：2021-04-06

Applicant: 南京邮电大学

Inventor： 周全 ,  刘嘉 ,  强勇 ,  王林杰 ,  施慧民 ,  孙振涵

IPC: G06T7/10 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于注意力引导机制的实时图像语义分割网络，包括下采样单元，上采样单元，极致高效残差模块，自适应注意力模块以及自适应融合模块。整体网络结构的特征提取单元为极致高效残差模块，使用自适应注意力模块ASAM有效减小了模块的计算复杂度，且能捕捉到有效像素点之间的相关性信息；并通过自适应融合模块ASFM将低级与高级特征连接起来，在语义分割中，将不同层次的特征连接起来；通过对以上五个组件进行堆叠，构建基于注意力机制的实时语义分割网络，其中编码器生成下采样的特征图，解码器对深层的特征图进行上采样以匹配输入图像分辨率，恢复图像的空间信息并向分割类别映射，最终生成与输入图像相同分辨率的语义分割结果图。

公开(公告)号：CN111626300B

公开(公告)日：2022-08-26

申请号：CN202010375529.7

申请日：2020-05-07

Applicant: 南京邮电大学

Inventor： 周全 ,  李圣华 ,  刘嘉 ,  王杰 ,  强勇 ,  樊亚文 ,  吴晓富

IPC: G06V10/26 ,  G06V10/75 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种基于上下文感知的图像语义分割模型，包括：编码骨干网、解码器；编码骨干网和解码器之间连接有稠密注意力上下文网络；稠密注意力上下文网络包括分级细化残差模块、联合通道注意力模块、堆叠模块和注意力增强的空间金字塔模块。本申请还公开了上述模型的建模方法。本申请的图像语义分割模型中的稠密注意力上下文网络采用分级细化残差模块HRRB、联合通道注意力模块JCA和注意力增强的空间金字塔模块APSM的结合充分提取并融合来自不同骨干层的信息，得到高分辨率的特征图，为后续的解码端提供感受野丰富的信息，增强图像语义分割的精度。