基于路径聚合的深度学习多视角立体三维重建算法
摘要:
本发明提出了一种利用路径聚合策略的特征金字塔来提取图像多尺度特征,并将特征图经过可变形卷积层和CBAM卷积块注意力模块增强特征的表现能力。采用路径聚合策略特征提取网络,在常规特征金字塔网络的基础上添加了一条自底向上的路径,加强了低级特征在最终特征图中的表达能力,更有利于三维重建任务。采用了级联的代价体构建方式,在三个尺度下构建不同深度假设平面量的代价体,以此达到提升深度预测效率的目的。各尺度的源视图特征图借助可微的单应变换,得到多个特征体,并将多个特征体基于方差聚合得到代价体。对代价体通过3D‑Unet代价体正则化网络得到初步深度图,并通过深度图细化网络进行细化得到深度图,最后通过深度图融合生成最终的三维点云。
0/0