公开(公告)号：CN118365877A

公开(公告)日：2024-07-19

申请号：CN202410448991.3

申请日：2024-04-15

Applicant: 北京工商大学

Inventor： 王晨 ,  杜晨曦 ,  宋军豪

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种基于特征增强和全局特征融合的RGB‑D语义分割方法，属于计算机视觉和计算机图形学领域。该方法基于编码器‑解码器的网络结构对图像进行语义分割预测，在编码器浅层网络引入特征增强模块，利用通道注意力机制将深度分支提取到的特征信息融合到RGB分支中，增强RGB信息在浅层网络中的特征表达能力，在深层网络引入基于交叉注意力机制和混合通道嵌入相互交织的全局特征融合模块，利用深层网络的复杂语义信息，实现远程上下文交换，获得丰富的全局信息，提高语义分割准确性。本发明通过在浅层网络和深层网络使用不同的基于注意力机制的融合方式，对RGB特征和深度特征进行多阶段互补利用，从而提升语义分割的准确性。

公开(公告)号：CN119785018A

公开(公告)日：2025-04-08

申请号：CN202411561562.3

申请日：2024-11-04

Applicant: 北京工商大学

Inventor： 王晨 ,  宋军豪 ,  杜晨曦

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及计算机视觉与深度学习领域，提出了一种基于参数调优和多模态数据融合的语义分割方法。本方法的核心在于充分融合RGB、深度和Mask三种模态数据，以提高分割精度，采用冻结的SegFormer编码器并行提取特征，结合参数调优模块以实现室内语义分割任务适配，网络前两层通过Gate门动态加权融合RGB和Mask特征来以增强边界信息，后两层则利用上下文信息交互模块提升特征语义信息表达能力，引入多模态交叉融合模块，采用高效的交叉注意力和改进的空间坐标注意力，确保深度信息与RGB特征有效交互和增强。本发明不仅减少了计算负担，提升了模型效率，还显著提高了室内场景语义分割的准确性，具有广泛的应用前景。

公开(公告)号：CN119445118A

公开(公告)日：2025-02-14

申请号：CN202411561585.4

申请日：2024-11-04

Applicant: 北京工商大学

Inventor： 王晨 ,  杜晨曦 ,  宋军豪

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06V10/42 ,  G06V10/52

Abstract: 本发明提供一种基于特征协同与多尺度特征融合的RGB‑D语义分割方法，属于计算机视觉和计算机图形学领域。该方法基于编码器‑解码器的网络结构对图像进行语义分割预测，在网络的每个阶段利用多种注意力机制实现多模态特征校正与融合，优化和增强输入数据的特征表示，并在解码器中使用自顶向下多尺度特征融合策略。通过多种注意力机制，模型能够有效捕捉全局特征与局部特征，实现同一尺度下不同模态信息的融合，并促进不同尺度下特征的精细聚合。本发明应用多种注意力机制实现多模态特征的协同与多尺度特征的融合，有效解决了RGB和深度信息之间的差异、数据中的噪声干扰，以及网络提取过程中细节信息的丢失问题。