本发明提出一种基于多手持深度相机的无标记运动捕捉及场景重建方法及装置，其中该方法包括步骤：提供人体模型和地板模型；通过多个深度相机手持地拍摄；将相机返回的深度图进行空间变换得到三维点云集合；从对同一深度相机的相邻帧的彩色图中提取场景特征点；根据人体模型中的表面网格点、地板模型中的地板点和三维空间的场景特征点的信息，定义联合优化模型；将三维点云点与表面网格点进行匹配；和将匹配结果对引入联合优化模型进行求解和变换，得到运动捕捉结果和场景重建结果。本发明的方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉和场景重建，具有运动参数准确鲁棒、场景复原程度高、算法运行速度快、系统成本低的优点。