一种基于多模态特征融合的显著目标识别方法

    公开(公告)号:CN117292149A

    公开(公告)日:2023-12-26

    申请号:CN202311279184.5

    申请日:2023-10-07

    Abstract: 本发明公布了一种基于多模态融合的显著目标检测模型,包括三种模态特征均通过vgg16网络提取。为了能够充分使用不同模态的特征,将每一层提取到的特征送入特征融合模块,特征融合模块分为两个部分,分别为特征连接和特征融合。利用了相邻两层特征之间的相似性,来生成增强后的特征,并用它们生成的空间注意力模块增强上一层的解码器输出特征。从而得到比较显著的特征图。将第四层S模块的输出向后跳跃连接到每个解码器D模块的输入端,与其他输入进行相加。这样能够多次充分利用高级语义特征。使得融合更加充分。另外,本发明在每一个编码器的输出端都设有一个损失监督,以更加细化的训练每一个模块。从而拥有一个非常准确的显著目标检测结果。

    一种基于边缘信息的钢铁表面缺陷显著性检测方法

    公开(公告)号:CN114219790B

    公开(公告)日:2023-09-22

    申请号:CN202111551782.4

    申请日:2021-12-17

    Abstract: 本发明公开了一种基于边缘信息的钢铁表面缺陷显著性检测方法,首先构建基于边缘信息的钢铁表面缺陷显著性检测模型,包括编码器部分、边缘信息提取模块和解码器部分;通过编码器部分提取显著性信息,通过边缘信息提取模块获得边缘信息,最后通过解码器部分融合显著性信息与边缘信息,输出模型预测的结果图。本发明方法通过在编码器部分引入通道注意力机制,对于所提取信息当中重要的部分赋予更大权重,从而使得编码器能更有效地提取信息。本发明还利用编码器输出的信息,提取获得边缘信息并用于指导解码器部分结果图的生成,加强了前景与背景边界区域的检测能力,从而有效地对钢铁表面缺陷区域进行显著性检测。

    一种基于边缘主体融合信息的遥感目标显著性检测方法

    公开(公告)号:CN112465815B

    公开(公告)日:2023-09-19

    申请号:CN202011494987.9

    申请日:2020-12-17

    Abstract: 本发明公开了一种基于边缘主体融合信息的遥感目标显著性检测方法。本发明步骤:1、图像数据预处理;2、网络搭建:网络包括encoder部分和decoder部分;encoder部分包括一个输入卷积层和六个卷积块,其中前四个卷积块采用ResNet34;encoder和decoder之间添加3个3*3的卷积层作为桥接;Decoder部分与encoder部分为对称结构,每个解码块与对应encoder部分concat的同时,还将前一个解码块concat到当前解码块;3、数据输入和训练。本发明有效利用了编码阶段的边缘信息和主体信息,并选择使用多loss融合的模式对U‑net解码部分的各个边缘输出进行约束,同时对各个边缘输出进行融合,使得遥感目标的检测取得了显著提升。

    一种面向360度全景图像的显著性目标检测方法

    公开(公告)号:CN113536977B

    公开(公告)日:2023-08-18

    申请号:CN202110720374.0

    申请日:2021-06-28

    Abstract: 本发明公开了一种面向360度全景图像的显著目标检测方法。本发明的输入是一张等距柱状投影图片,进入模型后会经过预处理得到六张等角度立方体贴图。而后深度特征提取网络将分别提取这两种图片的多级深度空间特征。接着在双型特征融合网络中采用通道注意力机制对其进行特征强化,并利用多尺度空洞卷积模块融合等距柱状投影和等角度立方体贴图的各层深度特征。最后将融合得到的多层复合特征信息依次投入多层信息融合记忆网络,将高级与低级语义信息逐级记忆、筛选、融合,最后得到显著性目标预测图。本发明有效地利用360度全景图像的等角度立方体贴图多角度空间信息来应对等距柱状投影产生的畸变问题,更精准地实现对360度全景图片的显著性目标的预测。

    一种基于卷积神经网络的360度图像显著目标检测方法

    公开(公告)号:CN114898120A

    公开(公告)日:2022-08-12

    申请号:CN202210586991.0

    申请日:2022-05-27

    Abstract: 本发明公开了一种基于卷积神经网络的360度图像显著目标检测方法,包括如下步骤:S1、图像转换;S2、搭建特征金字塔网络;S3、采用四个特征聚合模块,每个模块由一个特征转换子模块完成立方体投影特征向等距形特征转换并与原等距形图像特征组合后,使用一个空洞卷积池化金字塔子模块实现特征的优化,从而得到多层次的聚合特征;S4、将多层次的聚合特征连接并馈送到注意力集成模块,通过推断空间和通道注意机制自适应地选择可靠空间和通道信息与原特征融合得到最终特征并完成显著目标检测。该方法使用图像映射关系基于等距形360度图像构建对应的立方体投影图像,使用双种类图像作为输入解决了单一等矩形图像输入造成的球面到平面投影的不良失真问题。

Patent Agency Ranking