公开(公告)号：CN114723797A

公开(公告)日：2022-07-08

申请号：CN202110015239.6

申请日：2021-01-06

Applicant: 南京大学

Inventor： 胡雪梅 ,  李家渠 ,  岳涛 ,  黄晨迪

IPC: G06T7/514 ,  G06T5/00 ,  G06N3/08

Abstract: 本发明公开了一种基于深度学习的TOF深度成像的方法。具体步骤如下：(1)向TOF成像网络输入深度图，使用可学习的矩阵模拟TOF的调制函数，根据深度图的像素值进行相应的移位；(2)使用可学习的矩阵模拟TOF的解调函数，与上一步的输出进行积分操作；(3)积分后加上环境光，再加入噪声，输入给去噪成像子网络；(4)将调制函数、解调函数以及去噪成像子网络同时训练；(5)使用训练得到的调制函数来调制激光二极管，照亮场景；(6)使用APD测量反射回的信号，与训练得到的解调函数相乘；(7)相乘后的信号经过低通滤波器，测量电压值；(8)电压值输入给训练得到的去噪成像子网络，完成TOF深度成像。本方法可以增强TOF深度成像对噪声的鲁棒性，提高成像的精度。

公开(公告)号：CN114723797B

公开(公告)日：2024-04-12

申请号：CN202110015239.6

申请日：2021-01-06

Applicant: 南京大学

Inventor： 胡雪梅 ,  李家渠 ,  岳涛 ,  黄晨迪

IPC: G06T7/514 ,  G06T5/70 ,  G06N3/045

Abstract: 本发明公开了一种基于深度学习的TOF深度成像的方法。具体步骤如下：(1)向TOF成像网络输入深度图，使用可学习的矩阵模拟TOF的调制函数，根据深度图的像素值进行相应的移位；(2)使用可学习的矩阵模拟TOF的解调函数，与上一步的输出进行积分操作；(3)积分后加上环境光，再加入噪声，输入给去噪成像子网络；(4)将调制函数、解调函数以及去噪成像子网络同时训练；(5)使用训练得到的调制函数来调制激光二极管，照亮场景；(6)使用APD测量反射回的信号，与训练得到的解调函数相乘；(7)相乘后的信号经过低通滤波器，测量电压值；(8)电压值输入给训练得到的去噪成像子网络，完成TOF深度成像。本方法可以增强TOF深度成像对噪声的鲁棒性，提高成像的精度。

公开(公告)号：CN115496883A

公开(公告)日：2022-12-20

申请号：CN202111540560.2

申请日：2021-12-16

Applicant: 南京大学

Inventor： 胡雪梅 ,  黄晨迪 ,  岳涛 ,  李家渠

IPC: G06T19/00 ,  G06N20/00

Abstract: 本发明公开了一种数据驱动的可去除多径误差的TOF深度成像方法。其步骤如下：针对存在多径效应的场景进行三维建模，对上述场景进行深度渲染得到深度图标签及其对应的场景参数；以三角网格形式重新描述上述场景，进行基于pbrt的瞬态渲染得到脉冲响应瞬态图；将可学习的调制函数与脉冲响应瞬态相卷积，得到调制函数对应光波照亮场景后的回波；使用可学习的TOF解调函数，与上一步输出相乘积分并加上环境光与噪声，输入重建子网络；训练上述网络，用得到的调制函数调制激光，照亮场景后用光电探测器测量回波，与得到的解调函数相乘并滤波；将电压值输入训练后的重建子网络得到深度图。本方法增强了TOF深度成像对多径误差的鲁棒性，提高了成像精度。