本申请实施例提出的一种基于轨迹约束的人体模型姿态和形状优化方法和系统，包括接收到的视频帧序列中提取带有多尺度信息的空间特征；采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。采用轨迹优化项来鼓励人与场景的交互，产生更真实的人体场景交互。