公开(公告)号：CN118334389B

公开(公告)日：2024-12-24

申请号：CN202410497467.5

申请日：2024-04-24

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 朱冬晨 ,  周昊龙 ,  张广慧 ,  李嘉茂 ,  王磊

IPC: G06V10/75 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置，方法包括：获取双目图像；将获取的双目图像输入至立体匹配模型中，完成像素点的匹配得到视差图；立体匹配模型包括：特征提取网络，用于提取双目图像的特征，得到左图特征和右图特征；自适应滤波模块，用于将左图特征和右图特征转换到频域，并对左图特征和右图特征进行自适应滤波，并将滤波后的左图特征和右图特征重新变换到空间域完成代价体构建；频率补偿模块，用于对左图频域特征进行频率补偿，并与代价体聚合后的聚合特征进行融合，得到融合特征；视差预测模块，用于根据融合特征进行视差预测，完成像素点的匹配得到视差图。本发明能够提升立体匹配模型对校正误差的鲁棒性。

公开(公告)号：CN118351252A

公开(公告)日：2024-07-16

申请号：CN202410417649.7

申请日：2024-04-09

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 李嘉茂 ,  周昊龙 ,  朱冬晨 ,  张广慧 ,  王磊

IPC: G06T17/05 ,  G06T17/20 ,  G06T15/20 ,  G06T7/557 ,  G06T5/50 ,  G06T7/73 ,  G06T5/60

Abstract: 本发明涉及一种基于先验深度与高斯溅射模型融合的场景三维重建方法，包括：获取多视角下的场景图像；将多视角下的场景图像输入至场景三维重建模型中，完成场景的三维重建；其中，场景三维重建模型包括：单目深度估计网络与视觉里程计，用于基于多视角下的场景图像得到多视角下场景图像的稠密先验深度与相机位姿；点云生成模块，用于使用稠密先验深度与相机位姿生成世界坐标系下的空间点云，并将空间点云初始化为一组具有不透明度和球面谐波的三维高斯体；三维高斯优化模块，用于使用先验深度引导的自适应密度控制策略对三维高斯体的空间分布进行优化调整，完成场景的三维重建。本发明缓解观测数据不足导致的重建模糊问题。

公开(公告)号：CN118334389A

公开(公告)日：2024-07-12

申请号：CN202410497467.5

申请日：2024-04-24

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 朱冬晨 ,  周昊龙 ,  张广慧 ,  李嘉茂 ,  王磊

IPC: G06V10/75 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置，方法包括：获取双目图像；将获取的双目图像输入至立体匹配模型中，完成像素点的匹配得到视差图；立体匹配模型包括：特征提取网络，用于提取双目图像的特征，得到左图特征和右图特征；自适应滤波模块，用于将左图特征和右图特征转换到频域，并对左图特征和右图特征进行自适应滤波，并将滤波后的左图特征和右图特征重新变换到空间域完成代价体构建；频率补偿模块，用于对左图频域特征进行频率补偿，并与代价体聚合后的聚合特征进行融合，得到融合特征；视差预测模块，用于根据融合特征进行视差预测，完成像素点的匹配得到视差图。本发明能够提升立体匹配模型对校正误差的鲁棒性。