-
公开(公告)号:CN117292149A
公开(公告)日:2023-12-26
申请号:CN202311279184.5
申请日:2023-10-07
Applicant: 杭州电子科技大学
Abstract: 本发明公布了一种基于多模态融合的显著目标检测模型,包括三种模态特征均通过vgg16网络提取。为了能够充分使用不同模态的特征,将每一层提取到的特征送入特征融合模块,特征融合模块分为两个部分,分别为特征连接和特征融合。利用了相邻两层特征之间的相似性,来生成增强后的特征,并用它们生成的空间注意力模块增强上一层的解码器输出特征。从而得到比较显著的特征图。将第四层S模块的输出向后跳跃连接到每个解码器D模块的输入端,与其他输入进行相加。这样能够多次充分利用高级语义特征。使得融合更加充分。另外,本发明在每一个编码器的输出端都设有一个损失监督,以更加细化的训练每一个模块。从而拥有一个非常准确的显著目标检测结果。
-
公开(公告)号:CN114219790B
公开(公告)日:2023-09-22
申请号:CN202111551782.4
申请日:2021-12-17
Applicant: 杭州电子科技大学
IPC: G06T7/00 , G06T7/13 , G06V10/44 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种基于边缘信息的钢铁表面缺陷显著性检测方法,首先构建基于边缘信息的钢铁表面缺陷显著性检测模型,包括编码器部分、边缘信息提取模块和解码器部分;通过编码器部分提取显著性信息,通过边缘信息提取模块获得边缘信息,最后通过解码器部分融合显著性信息与边缘信息,输出模型预测的结果图。本发明方法通过在编码器部分引入通道注意力机制,对于所提取信息当中重要的部分赋予更大权重,从而使得编码器能更有效地提取信息。本发明还利用编码器输出的信息,提取获得边缘信息并用于指导解码器部分结果图的生成,加强了前景与背景边界区域的检测能力,从而有效地对钢铁表面缺陷区域进行显著性检测。
-
公开(公告)号:CN112465815B
公开(公告)日:2023-09-19
申请号:CN202011494987.9
申请日:2020-12-17
Applicant: 杭州电子科技大学
IPC: G06T7/00 , G06T7/181 , G06V10/80 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于边缘主体融合信息的遥感目标显著性检测方法。本发明步骤:1、图像数据预处理;2、网络搭建:网络包括encoder部分和decoder部分;encoder部分包括一个输入卷积层和六个卷积块,其中前四个卷积块采用ResNet34;encoder和decoder之间添加3个3*3的卷积层作为桥接;Decoder部分与encoder部分为对称结构,每个解码块与对应encoder部分concat的同时,还将前一个解码块concat到当前解码块;3、数据输入和训练。本发明有效利用了编码阶段的边缘信息和主体信息,并选择使用多loss融合的模式对U‑net解码部分的各个边缘输出进行约束,同时对各个边缘输出进行融合,使得遥感目标的检测取得了显著提升。
-
公开(公告)号:CN115375922B
公开(公告)日:2023-08-25
申请号:CN202211098512.7
申请日:2022-09-03
Applicant: 杭州电子科技大学 , 中电数据服务有限公司
IPC: G06V10/52 , G06N3/0464 , G06N3/048 , G06N3/08 , G06V10/32 , G06V10/34 , G06V10/80 , G06V10/82 , G06V10/26
Abstract: 本发明涉及一种基于多尺度空间注意力的轻量化显著性检测方法,包括以下步骤:步骤一、构建多尺度特征提取模块,并对输入信息进行处理;步骤二、依据深度可分离卷积及多尺度特征提取模块构建编码器,用于获取多级语义特征;步骤三、构建多尺度空间注意力模块;步骤四、依据深度可分离卷积与多尺度空间注意力模块构建解码器;步骤五、以编码器、解码器为基础,建立轻量化显著性检测模型;步骤六、对所建立轻量化显著性检测模型进行训练,并保存训练所得最终模型参数;本发明通过对图像中多尺度特征的充分挖掘以及图像全局特征的提取与利用,强化了轻量化模型的检测能力,在保持轻量化模型自身优势的同时,提升了模型的检测精度。
-
公开(公告)号:CN115346094B
公开(公告)日:2023-08-22
申请号:CN202211037831.7
申请日:2022-08-25
Applicant: 杭州电子科技大学 , 中电数据服务有限公司
IPC: G06V10/80 , G06V10/82 , G06V10/774 , G06N3/0464 , G06N3/09
Abstract: 本发明涉及一种基于主体区域引导的伪装目标检测方法,包括训练图像预处理、伪装目标预测网络搭建和伪装目标预测网络的训练三个步骤。首先,通过训练图像预处理进行数据增强,然后搭建伪装目标预测网络,最后通过训练集图像完成伪装目标预测网络的训练,本发明方法针对编码部分包含丰富信息的浅层特征图,设计了主体区域分析模块进行有效提取,再通过特征融合模块利用对主体区域的预测信息,引导对伪装目标的检测。本发明方法提供的网络模型可以充分有效地利用主体区域引导信息来实现对自然图像中伪装目标的准确预测。
-
公开(公告)号:CN113536977B
公开(公告)日:2023-08-18
申请号:CN202110720374.0
申请日:2021-06-28
Applicant: 杭州电子科技大学
IPC: G06V20/40 , G06V10/46 , G06V10/82 , G06N3/0464 , G06M3/08
Abstract: 本发明公开了一种面向360度全景图像的显著目标检测方法。本发明的输入是一张等距柱状投影图片,进入模型后会经过预处理得到六张等角度立方体贴图。而后深度特征提取网络将分别提取这两种图片的多级深度空间特征。接着在双型特征融合网络中采用通道注意力机制对其进行特征强化,并利用多尺度空洞卷积模块融合等距柱状投影和等角度立方体贴图的各层深度特征。最后将融合得到的多层复合特征信息依次投入多层信息融合记忆网络,将高级与低级语义信息逐级记忆、筛选、融合,最后得到显著性目标预测图。本发明有效地利用360度全景图像的等角度立方体贴图多角度空间信息来应对等距柱状投影产生的畸变问题,更精准地实现对360度全景图片的显著性目标的预测。
-
公开(公告)号:CN115359019B
公开(公告)日:2023-07-11
申请号:CN202211045106.4
申请日:2022-08-25
Applicant: 杭州电子科技大学 , 中电数据服务有限公司
IPC: G06T7/00 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及基于交互式特征和级联特征的钢铁表面缺陷检测方法,包括深度特征提取网络、深度特征融合网络和显著性预测网络。模型的输入是经扩增后的SD‑saliency‑900数据集。首先以级联的方式部署多分辨率的两个卷积分支(即高/低)级联特征集成(CFI)单元融合了来自多分辨率分支的最后一个卷积块的深度特征,得到增强的高级深度语义特征,并传递给解码器,在编码器部分,还部署了另一个连接,将相邻编码器级别的特征转移到解码器的同一阶段。本发明方法提供的网络模型可以充分有效地利用空间信息来生成高质量的显著性图,能够较好地突出缺陷。
-
公开(公告)号:CN116310695A
公开(公告)日:2023-06-23
申请号:CN202310393116.5
申请日:2023-04-13
Applicant: 杭州电子科技大学丽水研究院
IPC: G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于门控融合网络的视频显著性预测方法,首先构建门控融合网络;通过编码器提取视频片段包含的时空特征,用桥接模块增强顶层编码特征,再使用门控融合模块融合编解码特征,最后对门控融合特征进行解码处理,预测最终的显著图。本发明提出了一个门控融合模块用于将编码器的多级特征有效地融入到解码器中。该模块沿着时间、空间和通道维度加权编码特征,从而更加精准地定位显著对象的位置,并过滤掉特征中冗余的时空信息。
-
公开(公告)号:CN115587967A
公开(公告)日:2023-01-10
申请号:CN202211093428.6
申请日:2022-09-06
Applicant: 杭州电子科技大学 , 中电数据服务有限公司
IPC: G06T7/00 , G06T7/11 , G06V10/764 , G06V10/774 , G06V10/74 , G06N3/04 , G06N3/08 , A61B3/12 , A61B3/14
Abstract: 本发明涉及一种基于HA‑UNet网络的眼底图像视盘检测方法,包括如下步骤:数据预处理、模型构建、模型训练和模型评估。所述数据预处理包括对图像的缩放与剪切;所述构建的HA‑UNet网络在原始UNet网络的基础上,采用残差模块替代原UNet中的卷积层,并提出混合注意力模块,即HA模块,建立多注意力机制与特征之间的关系,对前景信息与背景信息进行挖掘与融合,同时,该网络采用混合损失函数,即BCE损失函数、SSIM损失函数和IoU损失函数的结合作为模型最终的损失函数;所述模型训练即当模型的损失函数不再降低之后,保存模型;所述模型评估即将训练好的模型放到测试集上进行评估。
-
公开(公告)号:CN114898120A
公开(公告)日:2022-08-12
申请号:CN202210586991.0
申请日:2022-05-27
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于卷积神经网络的360度图像显著目标检测方法,包括如下步骤:S1、图像转换;S2、搭建特征金字塔网络;S3、采用四个特征聚合模块,每个模块由一个特征转换子模块完成立方体投影特征向等距形特征转换并与原等距形图像特征组合后,使用一个空洞卷积池化金字塔子模块实现特征的优化,从而得到多层次的聚合特征;S4、将多层次的聚合特征连接并馈送到注意力集成模块,通过推断空间和通道注意机制自适应地选择可靠空间和通道信息与原特征融合得到最终特征并完成显著目标检测。该方法使用图像映射关系基于等距形360度图像构建对应的立方体投影图像,使用双种类图像作为输入解决了单一等矩形图像输入造成的球面到平面投影的不良失真问题。
-
-
-
-
-
-
-
-
-