公开(公告)号：CN118052842A

公开(公告)日：2024-05-17

申请号：CN202410070469.6

申请日：2024-01-18

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 朱冬晨 ,  刘润泽 ,  张广慧 ,  李嘉茂 ,  王磊

IPC: G06T7/20 ,  G06T7/55 ,  G06T7/70 ,  G06N3/0464 ,  G06N3/088

Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统，其中，方法包括：接收单目视频序列；将单目视频序列输入至预测模型，得到预测结果；其中，预测模型包括：深度估计子网络，用于估计输入的目标图像对应的深度图；位姿估计子网络，用于估计输入的目标图像和源图像之间的相对位姿；重投影模块，用于根据深度图和相对位姿对源图像进行重投影操作，得到重建目标图像；无纹理加权模块，用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重，得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。

公开(公告)号：CN118052841A

公开(公告)日：2024-05-17

申请号：CN202410070464.3

申请日：2024-01-18

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 朱冬晨 ,  刘润泽 ,  张广慧 ,  李嘉茂 ,  王磊

IPC: G06T7/20 ,  G06T7/10 ,  G06T7/50 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种融合语义的无监督深度估计与视觉里程计方法和系统，其中，方法包括：接收视频序列；将所述视频序列输入至预测模型，得到预测结果；其中，所述预测模型包括：深度估计子网络，用于估计输入的目标图像对应的深度图；位姿估计子网络，用于估计输入的目标图像和源图像之间的相对位姿；语义分割子网络，用于对输入的目标图像和重建目标图像进行语义分割，得到用于构造语义重投影损失的目标图像语义分割结果和重建目标图像语义分割结果；语义掩码模块，用于根据目标图像语义分割结果构造语义掩码；重投影模块，用于根据深度图、相对位姿和语义掩码对源图像进行重投影操作，得到重建目标图像。本发明能够增强重投影损失的效用。

公开(公告)号：CN117911477A

公开(公告)日：2024-04-19

申请号：CN202311550536.6

申请日：2023-11-21

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 朱冬晨 ,  刘润泽 ,  张广慧 ,  李嘉茂 ,  王磊

IPC: G06T7/50 ,  G06T5/70 ,  G06T3/08 ,  G06N3/0464 ,  G06N3/088 ,  G06N3/0455

Abstract: 本发明涉及一种基于扩散模型的单目深度估计与视觉里程计方法，包括：接收目标图像和源图像；将目标图像和源图像输入至预测模型中，得到目标图像的深度图以及目标图像和源图像之间的相对位姿；其中，预测模型中的基于扩散模型的深度预测网络包括：特征提取部分，用于对目标图像进行特征提取，得到多尺度特征信息；扩散模型去噪部分，用于在多尺度特征信息的引导下进行去噪，生成图像的深度特征；深度解码器部分，用于对图像的深度特征进行处理，得到目标图像的深度图；位姿预测网络将合并后的目标图像和源图像作为输入，输出目标图像和源图像之间的相对位姿。本发明能够充分利用图像的特征信息，提高鲁棒性。