一种基于光流嵌入的3D语义场景补全方法

    公开(公告)号:CN117409287A

    公开(公告)日:2024-01-16

    申请号:CN202210800692.2

    申请日:2022-07-08

    Inventor: 朱玉鹤 张盛平

    Abstract: 本发明公开了一种基于光流嵌入的3D语义场景补全方法,包括以下步骤:RGB图像通过2D UNet编码器得到编码的RGB图特征张量;深度图通过深度坐标系转换得到全尺寸3D体素;将2D UNet编码的RGB特征张量通过2D UNet解码网络,将初始3D体素进行多尺度采样,再将其沿光轴进行映射,得到初始RGB 3D体素;将初始RGB 3D体素与全尺寸3D体素相融合,得到3D F‑TSDF;将初始RGB3D体素与3D光流嵌入层进行耦合,将光流编码到3D体素中,得到编码光流的3D体素;将编码光流的3D体素与3D F‑TSDF进行逐点交叉操作,得到逐体素光流编码的F‑TSDF,下采样后喂入3D UNet编码解码网络,得到最终输出。

Patent Agency Ranking