本发明公开了一种定位追踪及虚实结合的方法，属于虚拟现实技术领域，包括：Kinect相机组实时采集用户上肢、下肢和操作对象的视频图像，得到不同视角的深度图像和彩色图像；建立与视频图像一致的用户上肢、下肢和操作对象的三维模型图，以及动作前后的三维空间坐标；显示单元根据虚拟场景信息建立虚拟场景，将用户上肢、下肢和操作对象的实时三维空间坐标和三维模型图通过动态纹理映射方法与虚拟场景融合生成对应的虚实融合影像；根据虚拟三维物体和操作对象的有效动作从存储的虚拟内容信息中获取对应的场景信息对虚拟场景进行重新构建，本申请的方法可为用户提供逼真、立体、反应及时的虚拟影像，提高用户驾驶模拟的交互体验。