基于稀疏传感器的人体动作捕捉、定位和环境建图方法

    公开(公告)号:CN116503540A

    公开(公告)日:2023-07-28

    申请号:CN202310484842.8

    申请日:2023-04-28

    Applicant: 清华大学

    Inventor: 徐枫 伊昕宇

    Abstract: 本发明公开了基于稀疏传感器的人体动作捕捉、定位和环境建图方法,该方法包括:获取IMU传感器的惯性测量值和相机拍摄图像;基于惯性测量值进行求解得到人体状态数据和相机状态数据;利用已经重建的稀疏地图点对相机状态数据和相机拍摄图像进行相机姿态的重投影优化得到优化后的相机位姿和置信度;基于人体状态数据和优化后的相机位姿和置信度,进行人体位置定位和全局运动矫正得到最终人体姿态和位置,并对已经重建的稀疏地图点和最终人体姿态和位置进行实时渲染,得到可视化渲染结果。本发明首次实现了基于稀疏可穿戴传感器的实时同时人体和环境感知,并相对于两个领域中的最先进技术均大幅提高了定位精度。

    稀疏IMU实时人体动作捕捉及关节受力预测方法及系统

    公开(公告)号:CN114417738B

    公开(公告)日:2022-06-24

    申请号:CN202210312217.0

    申请日:2022-03-28

    Applicant: 清华大学

    Inventor: 徐枫 伊昕宇

    Abstract: 本申请涉及人体动作捕捉技术领域,特别涉及一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统,方法包括:采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据,得到骨骼在人体坐标系中的骨骼朝向和加速度,将骨骼朝向和加速度输入至预设的人体运动学模型,预测人体姿态、运动、以及人‑地接触信息并输入至预设的人体动力学模型,预测人体姿态、运动、关节受力和地面作用力,解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测,从而阻碍人体运动等问题,通过双重PD控制器连接人体运动学模型和人体动力学模型,融合为一个整体的稀疏惯性动捕和受力预测系统,实现了可靠的实时人体动捕及关节受力预测。

    一种基于深度学习的人体反向动力学求解方法、装置

    公开(公告)号:CN113643419A

    公开(公告)日:2021-11-12

    申请号:CN202110723970.4

    申请日:2021-06-29

    Applicant: 清华大学

    Inventor: 徐枫 伊昕宇

    Abstract: 本申请提出一种基于深度学习的人体反向动力学求解方法:对获取到的目标的人体末端关节的坐标,首先利用深度全连接网络补全全身关节的坐标,之后根据全身关节的坐标利用深度全连接网络估计出人体的姿态,再判断估计出的人体的末端关节的坐标对应的位置与输入中要求达到的人体的末端关节的坐标对应的位置之间的误差是否达到设定的精度,若达到则进行渲染,否则利用循环坐标下降算法将姿态进行更新,并且重新判断直至渲染成功。本申请不限制根节点全局旋转,可以估计全局旋转,并通过循环坐标下降算法优化预估的姿态,从而使得最终得到的姿态更加自然、不失真,同时可以将得到的姿态实时渲染,得到渲染结果。

Patent Agency Ranking