-
公开(公告)号:CN117611811A
公开(公告)日:2024-02-27
申请号:CN202311468827.0
申请日:2023-11-07
Applicant: 南京邮电大学
IPC: G06V10/26 , G06V10/764 , G06V10/40 , G06V10/774
Abstract: 本发明公开了一种图像级弱监督语义分割系统及方法,系统中类激活图生成部分使用分类头的参数对输入图像的特征图进行激活,得到CAMs以初步实现目标定位;标签分配模块通过挖掘每个像素关于整幅图像的注意力图中所包含的结构信息为每个像素分配类别标签,以实现精准的正负样本对匹配与对比,并正确建模像素间的语义关系;注意力优化模块自适应筛选出高置信度的样本点,并以此对图像的初始特征表达进行重建;在原特征图和新特征图、原类激活图和新类激活图之间引入一致性正则化,获得额外的像素级监督信号;构建的弱监督语义分割系统在仅使用图像级标签的情况下实现了语义分割的最优性能。
-
公开(公告)号:CN117523234A
公开(公告)日:2024-02-06
申请号:CN202311536162.2
申请日:2023-11-17
Applicant: 南京邮电大学
Abstract: 本发明公开一种利用样本选择进行无监督对比学习的图像理解方法,属于无监督模型预训练领域;方法为:对所有训练图像进行数据增强并分别通过编码器网络进行编码,将原始图像特征向量和数据增强图像特征向量分别通过特征投影头将特征映射至低维空间,通过注意力计算获得图像之间的相似度,得到注意力矩阵;利用注意力矩阵的相似度信息进行正负样本对判别;利用注意力图中的相似度信息对各个样本进行重要性加权,并计算对比损失函数;本发明解决传统无监督对比学习中同类图像被错误地判断为负样本的问题,同时对传统的对比损失函数进行了改进,自适应地为样本分配权重,以更好地利用具有可靠判断结果的样本对,并减少不可靠样本对的干扰。
-
公开(公告)号:CN110188768B
公开(公告)日:2022-10-14
申请号:CN201910384869.3
申请日:2019-05-09
Applicant: 南京邮电大学
Abstract: 一种实时图像语义分割方法及系统,所述方法包括:编码器基于分解卷积操作和并行分解卷积操作提取输入图像的图像特征,得到低分辨率的深层语义特征图并输出至解码器;所述解码器基于分解卷积操作和并行分解卷积操作对所述低分辨率的深层语义特征图进行细节精调,并将细节精调后的低分辨率的深层语义特征图上采样到所述输入图像大小,恢复输入图像的空间信息并向分割类别映射,最终生成与输入图像具有相同分辨率的语义分割结果图。上述的方案,可以在使用有限的计算资源进行实时图像语义分割时,提高分割的准确性。
-
公开(公告)号:CN114169489A
公开(公告)日:2022-03-11
申请号:CN202010845319.X
申请日:2020-08-20
Abstract: 一种神经网络计算芯片的权重调整方法及装置,在该方法中,考虑到由于神经网络计算芯片中的噪声而导致权重写入不准的情况,提出了根据损失函数的损失值更新权重的方式,可以减小写入到神经网络计算芯片的权重与实际值的差值,使得神经网络计算芯片的输出结果更接近真实值,可以提高神经网络计算芯片的计算精度。
-
公开(公告)号:CN111626300A
公开(公告)日:2020-09-04
申请号:CN202010375529.7
申请日:2020-05-07
Applicant: 南京邮电大学
Abstract: 本申请公开了一种基于上下文感知的图像语义分割模型,包括:编码骨干网、解码器;编码骨干网和解码器之间连接有稠密注意力上下文网络;稠密注意力上下文网络包括分级细化残差模块、联合通道注意力模块、堆叠模块和注意力增强的空间金字塔模块。本申请还公开了上述模型的建模方法。本申请的图像语义分割模型中的稠密注意力上下文网络采用分级细化残差模块HRRB、联合通道注意力模块JCA和注意力增强的空间金字塔模块APSM的结合充分提取并融合来自不同骨干层的信息,得到高分辨率的特征图,为后续的解码端提供感受野丰富的信息,增强图像语义分割的精度。
-
公开(公告)号:CN110084274A
公开(公告)日:2019-08-02
申请号:CN201910247530.9
申请日:2019-03-29
Applicant: 南京邮电大学
Abstract: 一种实时图像语义分割方法及系统、可读存储介质和终端,所述方法包括:编码器对输入的原始特征图像利用基于特征通道的拆分和重排的卷积单元进行卷积操作以提取图像特征并输出至解码器;所述解码器采用注意力金字塔网络模型对所述编码器的输出特征图像进行密集的特征提取,并将所提取的特征向分割类别进行映射,最后将分割结果上采样到输入的原始特征图像分辨率。上述的方案,在使用有限的计算资源进行实时图像语义分割时,提高分割的准确性。
-
公开(公告)号:CN109034162A
公开(公告)日:2018-12-18
申请号:CN201810769340.9
申请日:2018-07-13
Applicant: 南京邮电大学
IPC: G06K9/34
CPC classification number: G06K9/342
Abstract: 本发明揭示了一种图像语义分割方法,包含编码和解码两部分,其中编码端基于经典的FCN的模型包含了一系列的卷积操作和最大池化操作来提取特征,且卷积后特征图的通道数加倍,最大池化后特征图的长和宽减半;解码端先把编码端卷积层提取的特征图进行不同倍数的上采样,然后和解码端两倍上采样的特征图连接,再进行卷积提取综合特征。这样浅层的信息和深层的信息能较好的融合,最终网络输出一个21维且和原图大小相同的矩阵。本发明技术方案的提出并应用,重新定义了网络结构,通过结合解码端和解码端的特征图,充分地利用了网络的上下文信息,在一定程度上提高了最终的准确率;并且保留了分割图相对原始图像的分辨率大小。
-
公开(公告)号:CN107194322A
公开(公告)日:2017-09-22
申请号:CN201710291009.6
申请日:2017-04-28
Applicant: 南京邮电大学
CPC classification number: G06K9/00771 , G06K9/6265 , G06N5/04
Abstract: 本发明公开了一种视频监控场景中的行为分析方法,尤其适合于复杂视频监控中的行为分析。包括步骤为:第一检测出视频的底层运动特征,并进行去噪;第二对去噪后的运动特征进行量化,将视频序列表示成词袋模式;第三利用动态因果主题模型对视频序列进行建模,检测出场景中包含的行为;第四最后通过计算行为的因果影响力,对行为进行排序。本发明不仅可以检测出场景中包含的行为,而且能够识别出高影响力行为。
-
-
-
-
-
-
-