本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中，得到优化和去光照后的正面图像，将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。