公开(公告)号：CN114596474A

公开(公告)日：2022-06-07

申请号：CN202210185451.1

申请日：2022-02-16

Applicant: 北京工业大学

Inventor： 马伟 ,  严武斌

IPC: G06V10/774 ,  G06V10/82 ,  G06F17/16 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种融合多模态信息的单目深度估计方法。首先输入单张RGB图像，通过常规主干网络(如ResNet)提取特征后再经过并列的水平和竖直方向上的全局池化算子，跨通道的1x1卷积，多尺度的空洞卷积以及语义分割预测模块。至此，我们得到了两种不同模态的特征图D和S(深度和语义模态)。将S中每一个像素分别隶属于特定语义类别的概率分布向量与D中的深度表征向量相乘，得到多模态融合的相似度矩阵，最后再与特征图D做残差连接得到最后的输出特征图F。除此以外，我们更是重新设计了一种损失函数来适配和训练我们的深度神经网络模型。和与现有方法相比，本发明更能反映场景中不同物体类别的轮廓与更高的深度估计精度。

公开(公告)号：CN114596474B

公开(公告)日：2024-07-19

申请号：CN202210185451.1

申请日：2022-02-16

Applicant: 北京工业大学

Inventor： 马伟 ,  严武斌

IPC: G06V10/774 ,  G06V10/82 ,  G06F17/16 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明涉及一种融合多模态信息的单目深度估计方法。首先输入单张RGB图像，通过常规主干网络(如ResNet)提取特征后再经过并列的水平和竖直方向上的全局池化算子，跨通道的1x1卷积，多尺度的空洞卷积以及语义分割预测模块。至此，我们得到了两种不同模态的特征图D和S(深度和语义模态)。将S中每一个像素分别隶属于特定语义类别的概率分布向量与D中的深度表征向量相乘，得到多模态融合的相似度矩阵，最后再与特征图D做残差连接得到最后的输出特征图F。除此以外，我们更是重新设计了一种损失函数来适配和训练我们的深度神经网络模型。和与现有方法相比，本发明更能反映场景中不同物体类别的轮廓与更高的深度估计精度。