本发明涉及一种基于单视角RGBD融合网络的手物交互重建方法，步骤包括：将手物交互的对齐RGBD图像的深度图转化为点云，并应用特征编码器从中提取RGB特征和点特征；融合所提取的RGB特征和点特征，生成密集RGBD特征；采用SDF特征编码器将密集RGBD特征生成手物形状编码，通过手物几何特征估计模块预测手物的姿态参数和物体位置；通过几何傅里叶特征编码模块处理基于每个三维查询点相对于手腕的旋转和平移以及物体的平移，获得手物几何编码；采用手和物体SDF解码器利用手物形状编码和手物几何编码估计每个三维查询点的SDF重建手和物体形状。与现有技术相比，本发明更充分融合了RGB和深度信息，实现了几何精细的手物交互重建。