-
公开(公告)号：CN114332559A
公开(公告)日：2022-04-12
申请号：CN202111565872.9
申请日：2021-12-17
Applicant: 安徽理工大学
Abstract: 本发明属于计算机视觉领域，提供了一种自适应跨模态融合机制和深度注意力网络的RGB‑D显著性目标检测方法，包括以下步骤：1)准备RGB‑D显著性目标检测数据集，该数据集包括三个部分，分别是RGB图像I、对应的深度(Depth)图D像以及显著性分割图S，进一步可划分为训练集和测试集；2)设计深度图质量感知模块，并计算输入该模块的深度图的质量值，高于该值的深度图作为训练样本，否则过滤掉该深度图；3)分别建立用于提取RGB特征和Depth特征的神经网络模型，并使用VGG16网络用于提取特征；4)建立计算深度显著性先验和背景先验的计算方式；5)建立RGB特征和Depth特征的高效互补的自适应跨模态特征融合方案，并整合多尺度融合特征，得到预测结果。
-
公开(公告)号：CN114332559B
公开(公告)日：2024-08-06
申请号：CN202111565872.9
申请日：2021-12-17
Applicant: 安徽理工大学
IPC: G06V10/774 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/084
Abstract: 本发明属于计算机视觉领域，提供了一种自适应跨模态融合机制和深度注意力网络的RGB‑D显著性目标检测方法，所述方法利用RGB和Depth图像实现输入场景的显著性目标检测。本发明的贡献主要在于利用Depth附加的视觉先验信息(边缘细节和空间分布信息)角度出发，设计一种自适应跨模态特征融合机制有效地融合RGB特征和Depth特征，实现Depth特征对于RGB特征的空间分布和边缘细节的曾强，该自适应跨模态特征融合机制利用深度图像的深度分布直方图判断适度图像质量从而实现高质量深度图像的选择，过滤掉低质量深度图像，进而建立深度显著性先验和背景先验的计算方式，实现RGB特征和Depth特征的高效互补的自适应跨模态特征融合方案。最后，整合多尺度融合特征，得到预测结果。
-
公开(公告)号：CN114693953B
公开(公告)日：2024-08-09
申请号：CN202210308537.9
申请日：2022-03-24
Applicant: 安徽理工大学
IPC: G06V10/46 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06V10/80 , G06V10/82 , G06V10/774
Abstract: 本发明提供一种基于跨模态双向互补网络的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用RGB和depth图像的多模态数据，提取跨模态的特征用于推理输入场景的显著性目标或者区域。本发明的贡献主要在于通过从RGB和depth的鲁棒性和抗干扰性的角度出发，设计一种跨模态特征双向互补充机制。该机制利用depth特征优化RGB特征，并通过循环的方式将优化后的RGB特征用于增强depth特征。通过提出的跨模态特征双向互补充机制可以有效地处理RGB图像所遭遇的挑战性场景(低对比度，复杂背景，多目标等)，并能够解决低质量深度图带来的负面影响。最后，利用深层特征指导策略集成多尺度特征，生成显著性结果。
-
公开(公告)号：CN114693952A
公开(公告)日：2022-07-01
申请号：CN202210308520.3
申请日：2022-03-24
Applicant: 安徽理工大学
Abstract: 本发明提供一种基于多模态差异性融合网络的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用Swin Transformer提取包含全局上下文信息的RGB和Depth特征，用于给出场景的显著性目标推理。本发明主要通过探索RGB和Depth模态之间的差异性分析显著性在这两个模态的联系和区别，并设计一个差异性融合网络融合跨模态特征用于捕获完整的显著目标。本发明包括以下几个步骤：(1)采用Swin Transformer提取跨模态特征；(2)使用双向融合方式融合RGB和Depth特征生成Fusion流；(3)使用三流差异性监督机制获取模态之间差异性；(4)利用该差异性融合跨模态特征；(5)使用目级联聚合解码器对融合的跨模态特征进行显著性的推理和解码，生成预测的显著性图。
-
公开(公告)号：CN114283315A
公开(公告)日：2022-04-05
申请号：CN202111565805.7
申请日：2021-12-17
Applicant: 安徽理工大学
Abstract: 本发明属于计算机视觉领域，提供了一种基于交互式引导注意力和梯形金字塔融合的RGB‑D显著性目标检测方法，包括以下步骤：1)获取训练和测试该任务的RGB‑D数据集，并定义本发明的算法目标；2)构建用于提取RGB图像特征RGB编码器和深度(Depth)图像特征Depth编码器；3)建立跨模态特点融合网络，通过交互式引导的注意力机制指导RGB图像特征和Depth图像特征进行交叉融合；4)构建超大规模的感受野融合机制，以增强多模态特征的高级语义信息；5)建立梯形金字塔特征融合网络为基础的解码器以生成显著图Pest；6)预测的显著图Pest与人工标注的显著目标分割图PGT计算损失；7)对测试数据集进行测试，生成显著图Ptest，并使用评价指标进行性能评估。
-
Patent Agency Ranking
公开(公告)号：CN114283315B
公开(公告)日：2024-08-16
申请号：CN202111565805.7
申请日：2021-12-17
Applicant: 安徽理工大学
IPC: G06V10/25 , G06V10/80 , G06V10/44 , G06V10/42 , G06V10/52 , G06V10/56 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明提供了一种基于交互式引导注意力和梯形金字塔融合的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用RGB和Depth图像实现输入场景的显著性目标检测。本发明的贡献主要在于通过从RGB和Depth图像之间存在的二义性角度出发，设计一种交互式引导的注意力机制指导RGB图像特征和Depth图像特征进行交叉融合有效消除跨模态数据之间的二义性问题。通过建立梯形金字塔特征融合网络进一步探索多尺度特征之间的联系和协作机制，利用多尺度的特征信息有效的提升模型检测的性能，并且可以兼顾高级语义信息和低级的细节信息，从到可以达到感知显著性目标的边缘细节和整体完整性。最后，利用多尺度特征聚合生成显著目标检测结果。
-
公开(公告)号：CN114693951A
公开(公告)日：2022-07-01
申请号：CN202210300694.5
申请日：2022-03-24
Applicant: 安徽理工大学
IPC: G06V10/46 , G06V10/80 , G06V10/774 , G06K9/62
Abstract: 本发明属于计算机视觉领域，公开了一种基于全局上下文信息探索的RGB‑D显著性目标检测方法，包括以下步骤：1)获取训练和测试该任务的RGB‑D数据集，并定义本发明的算法目标，并确定用于训练和测试算法的训练集和测试集；2)基于连续卷积层堆叠用来构建跨模态上下文特征模块提取特征信息；3)定义一叠连续的卷积层和多尺度特征的多尺度特征解码器(MFD)以及空间通道注意力；4)构建多尺度特征解码器，将这些多尺度特征融合到一个自上而下的聚合策略中，并生成显著性结果；5)采用二元交叉熵(BCE)来训练本发明的模型，这也是SOD任务中普遍存在的损失函数。计算出在不同的像素下的预测值和真实值之间的误差。
-
公开(公告)号：CN114239585B
公开(公告)日：2024-06-21
申请号：CN202111553048.1
申请日：2021-12-17
Applicant: 安徽理工大学
IPC: G06F40/295 , G06F40/30 , G06F16/35 , G06N3/045 , G06N3/0442 , G06N3/092 , G06N3/048
Abstract: 本发明公开了一种生物医学嵌套命名实体识别方法，通过基于字符级向量与字级别向量交互融合并结合多头注意力机制得到信息交互后的字符级特征向量与字级别特征向量的表示，通过基于双向长短期记忆神经网络得到句子上下文信息，再次对获取上下文信息的字符级向量与字级向量交互信息，经过向量加权得到最终的标签序列，根据标签序列得到粗粒度候选区间，经过对粗粒度候选区间的细粒度划分得到所有的嵌套命名实体识别结果。字符级特征与字级别特征的信息交互可以更好的获得字内部的信息，基于注意力机制的语言预处理模型预先生成增强语义的字向量并有利于特征信息之间的相互传递。本发明不仅提高了嵌套命名实体的识别效果，而且提高了识别的速度。
-
公开(公告)号：CN114693953A
公开(公告)日：2022-07-01
申请号：CN202210308537.9
申请日：2022-03-24
Applicant: 安徽理工大学
Abstract: 本发明提供一种基于跨模态双向互补网络的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用RGB和depth图像的多模态数据，提取跨模态的特征用于推理输入场景的显著性目标或者区域。本发明的贡献主要在于通过从RGB和depth的鲁棒性和抗干扰性的角度出发，设计一种跨模态特征双向互补充机制。该机制利用depth特征优化RGB特征，并通过循环的方式将优化后的RGB特征用于增强depth特征。通过提出的跨模态特征双向互补充机制可以有效地处理RGB图像所遭遇的挑战性场景(低对比度，复杂背景，多目标等)，并能够解决低质量深度图带来的负面影响。最后，利用深层特征指导策略集成多尺度特征，生成显著性结果。
-
公开(公告)号：CN114239585A
公开(公告)日：2022-03-25
申请号：CN202111553048.1
申请日：2021-12-17
Applicant: 安徽理工大学
IPC: G06F40/295 , G06F40/30 , G06F16/35 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种生物医学嵌套命名实体识别方法，通过基于字符级向量与字级别向量交互融合并结合多头注意力机制得到信息交互后的字符级特征向量与字级别特征向量的表示，通过基于双向长短期记忆神经网络得到句子上下文信息，再次对获取上下文信息的字符级向量与字级向量交互信息，经过向量加权得到最终的标签序列，根据标签序列得到粗粒度候选区间，经过对粗粒度候选区间的细粒度划分得到所有的嵌套命名实体识别结果。字符级特征与字级别特征的信息交互可以更好的获得字内部的信息，基于注意力机制的语言预处理模型预先生成增强语义的字向量并有利于特征信息之间的相互传递。本发明不仅提高了嵌套命名实体的识别效果，而且提高了识别的速度。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.015 seconds)
