公开(公告)号：CN116246058A

公开(公告)日：2023-06-09

申请号：CN202211615899.9

申请日：2022-12-15

Applicant: 安徽信息工程学院

Inventor： 孟令兵 ,  袁梦雅 ,  时雪涵

IPC: G06V10/25 ,  G06V10/774 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了坐标注意力过滤的特征引导多模态融合RGB‑D显著性目标检测，属于计算机视觉、深度学习领域，包括以下步骤：S1：输入模型的数据集：在NJU2K数据集中选取1485幅图像对和在NLPR数据集中选取700幅图像对作为训练集，输入模型中；S2：对数据集进行特征提取：将输入的图像经过1次普通卷积层(Cov)和4次残差卷积层(Res)，其中残差卷积层采用的是Resnet50架构的前4层；S3：坐标注意力过滤的深度特征引导多模态融合模块。本发明通将GB分支、深度分支和融合分支设计为3个相同结构的编码器‑解码器架构一起联合进行端到端的训练，这种架构能够有效地捕获高级语义特征以及低级纹理结构特征，最终显著图由融合分支生成。

公开(公告)号：CN116051950A

公开(公告)日：2023-05-02

申请号：CN202211075069.1

申请日：2022-09-03

Applicant: 安徽信息工程学院

Inventor： 袁梦雅 ,  孟令兵 ,  时雪涵

IPC: G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及计算机视觉技术领域，具体为跨层次跨模态双注意力融合的三流RGB‑D显著性目标检测，包括如下步骤：S1：编码阶段，首先，在特征提取阶段，采用相同的模块提取RGB特征和深度图特征，在每一层都采用跨模态双注意力融合模块完成模态间特征的融合交互，跨模态双注意力融合模块包括全局注意力和局部注意力，双注意力模块能够关注不同维度空间的显著性目标的特征。本发明通过在编码阶段，采用跨模态双注意力融合模块逐层融合RGB特征和Depth特征，进行跨模态渐进式信息的双向交互，融合的交互特征能够提取显著性目标更丰富的特征，实现融合特征的共性和互补性，完成跨模态的有效融合。

公开(公告)号：CN115908856A

公开(公告)日：2023-04-04

申请号：CN202211228570.7

申请日：2022-10-09

Applicant: 安徽信息工程学院

Inventor： 孟令兵 ,  袁梦雅 ,  时雪涵

IPC: G06V10/46 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了三分支多层级Transformer特征交互的RGB‑D显著性目标检测方法，包括跨模态坐标注意力模块(CMCA)、特征融合模块、多层次Transformer交互模块和扩张密集微调特征模块，其具备有效处理多目标、背景复杂、低光照等场景下的精确检测，具有较好的泛化能力，能够很好的适用真实场景的图像检测。

公开(公告)号：CN115830420A

公开(公告)日：2023-03-21

申请号：CN202211290031.6

申请日：2022-10-19

Applicant: 安徽信息工程学院

Inventor： 孟令兵 ,  袁梦雅 ,  时雪涵

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/10 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于边界可变形卷积引导的RGB‑D显著性目标检测方法，包括下列步骤：步骤一、分别对RGB模态与深度图模态进行特征提取；步骤二、通过跨模态注意力融合特征模块对两种模态特征进行融合以挖掘显著物的共性与互补特征；步骤三、将特征图输入到嵌入有相邻多尺度特征增强模块的编码器深层，获得全局上下文特征信息；步骤四、通过构建边界特征提取模块生成显著物的边界线索图；步骤五、利用生成的边界线索图和可变形卷积引导生成显著图。本发明通过深度图和RGB图像交叉融合来互相挖掘和强化显著物共性，利用相邻层次特征交互有效捕获具有不同尺寸和不确定数量的显著物，利用边缘线索图引导模型解码以解决显著图边界模糊问题。