公开(公告)号：CN116912488B

公开(公告)日：2024-02-13

申请号：CN202310706587.7

申请日：2023-06-14

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  王宇琪 ,  陈韫韬 ,  廖星宇

IPC: G06V10/26 ,  G06V10/46 ,  G06V10/80 ,  G06V10/10

Abstract: 本发明涉及计算机视觉技术领域，提供一种基于多目相机的三维全景分割方法及装置，该方法获取多目相机采集的多个当前帧图像；将多个当前帧图像输入至三维全景分割模型，由图像编码模块提取每个当前帧图像的多尺度图像特征，由视图编码模块基于相机投影关系，将每个当前帧图像的多尺度图像特征转换为三维体素特征，由时序编码模块将所述多目相机采集的历史帧图像的三维体素特征与当前帧图像的三维体素特征进行融合，得到时序融合结果，由体素上采样模块将时序融合结果进行上采样，得到上采样结果，由体素解码模块对上采样结果进行解码，得到并输出全景分割结果。该方法可以得到稠密的三维全景分割结果，实现精细的语义理解。

公开(公告)号：CN116912488A

公开(公告)日：2023-10-20

申请号：CN202310706587.7

申请日：2023-06-14

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  王宇琪 ,  陈韫韬 ,  廖星宇

IPC: G06V10/26 ,  G06V10/46 ,  G06V10/80 ,  G06V10/10

Abstract: 本发明涉及计算机视觉技术领域，提供一种基于多目相机的三维全景分割方法及装置，该方法获取多目相机采集的多个当前帧图像；将多个当前帧图像输入至三维全景分割模型，由图像编码模块提取每个当前帧图像的多尺度图像特征，由视图编码模块基于相机投影关系，将每个当前帧图像的多尺度图像特征转换为三维体素特征，由时序编码模块将所述多目相机采集的历史帧图像的三维体素特征与当前帧图像的三维体素特征进行融合，得到时序融合结果，由体素上采样模块将时序融合结果进行上采样，得到上采样结果，由体素解码模块对上采样结果进行解码，得到并输出全景分割结果。该方法可以得到稠密的三维全景分割结果，实现精细的语义理解。