-
公开(公告)号:CN118097775A
公开(公告)日:2024-05-28
申请号:CN202410125009.9
申请日:2024-01-29
Applicant: 清华大学
IPC: G06V40/20 , G06V10/80 , G06V10/82 , G06V10/40 , G06V10/62 , G06N3/0455 , G06N3/0442 , G06N3/08
Abstract: 本发明公开了人体体型感知稀疏IMU动作捕捉方法及系统,该方法,包括获取同步、校准和对齐后的人体的IMU惯性测量值;将IMU惯性测量值输入至循环神经网络进行人体姿态求解以估计人体运动姿态;利用编码器网络对提取的循环神经网络的隐藏状态和拼接的人体体型信息进行融合,以根据融合结果更新循环神经网络;利用更新后的循环神经网络对人体运动姿态进行优化以得到的人体动作捕捉结果。本发明可以对于不同体型的人体动作捕捉更重要的信息,提高系统动作捕捉的准确性和可靠性。
-
公开(公告)号:CN114413897A
公开(公告)日:2022-04-29
申请号:CN202210312218.5
申请日:2022-03-28
Applicant: 清华大学
Abstract: 本申请涉及人体运动捕捉技术领域,特别涉及一种稀疏IMU实时人体动作捕捉方法、装置及设备,包括:根据采集的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度,将骨骼朝向和加速度对齐到根节点坐标系下;将对齐后的骨骼朝向和加速度代入反向动力学的多阶段姿态求解器,分阶段预测人体的末端关节坐标、全部关节坐标,求解人体姿态;将对齐后的骨骼朝向和加速度及末端关节坐标、全部关节坐标和人体姿态代入预设的多分支运动求解器,求解人体运动;基于人体姿态和人体运动得到实时人体动作捕捉结果,解决了商业动捕设备无法满足普通消费者日常动作捕捉需求的问题。
-
公开(公告)号:CN112486331A
公开(公告)日:2021-03-12
申请号:CN202011506838.X
申请日:2020-12-18
Applicant: 清华大学
IPC: G06F3/0346 , G06F3/01 , G06N3/08
Abstract: 本申请提出一种基于IMU的三维空间手写输入方法和装置,涉及人工智能技术领域,其中,方法包括:获取用户的各个位置上惯性测量单元IMU传感器采集到的多个惯性信息;通过深度神经网络对多个惯性信息进行处理,获取用户的骨骼链姿态信息;通过正向动力学对骨骼链姿态信息进行求解,获取用户的手部位置,并根据手部位置和历史位置信息形成三维手写轨迹。由此,使用户可以在空中徒手作画并实时观看到画出的三维轨迹实现手写输入,满足用户需求。
-
公开(公告)号:CN118643265A
公开(公告)日:2024-09-13
申请号:CN202410531639.6
申请日:2024-04-29
Applicant: 清华大学
Abstract: 本申请提出了一种非惯性系动力学建模的惯性人体动作捕捉方法及装置,该方法包括:获取人体特定关节点的原始IMU测量值,并对原始IMU测量值进行预处理;将预处理后的IMU测量值从全局坐标系转换为根关节相对坐标系,根据自回归估计器估计人体的惯性加速度,根据估计的惯性加速度对转换到根关节相对坐标系的IMU测量值进行补偿;利用补偿后的IMU测量值进行人体局部姿态和全局运动的估计;根据估计得到的局部姿态和全局运动,在人体模型上进行姿态和位置的可视化展示。本申请通过建模惯性力来校正非惯性坐标系下的IMU测量信号,保证牛顿运动定律在非惯性坐标系下得到满足,实现了对加速度和姿态之间关系的准确建模,从而提高了人体动作捕捉的精度和准确性。
-
公开(公告)号:CN115239906A
公开(公告)日:2022-10-25
申请号:CN202210715807.8
申请日:2022-06-22
Applicant: 清华大学
Abstract: 本申请涉及人机交互技术领域,特别涉及一种基于物理的手与物体交互过程的实时重建方法及装置,其中,方法包括:基于深度输入数据获取物体的几何与位姿信息和手的姿态信息;根据物体的几何与位姿信息计算物体的物理属性和初始接触状态,并基于物理属性和初始接触状态进行接触状态优化,得到优化后的每个手指尖的坐标和压力;根据手的姿态信息计算每个手指尖的置信度,并根据优化后的每个手指尖的坐标和压力及置信度计算手的最终姿态与每个手指尖的最终坐标。由此,解决了相关技术中仅使用单目深度相机对交互过程进行实时的重建,缺乏物理约束,使得重建结果不符合物理情况,降低了重建结果的准确性,无法满足手与物体实时重建的需求等问题。
-
公开(公告)号:CN118570250A
公开(公告)日:2024-08-30
申请号:CN202410531645.1
申请日:2024-04-29
Applicant: 清华大学
Abstract: 本申请提出了一种用于惯性人体动作捕捉的IMU数据合成方法及装置,该方法包括:根据人体动捕数据,生成虚拟的惯性传感器IMU的六自由度运动轨迹;基于IMU的虚拟硬件模拟,以六自由度运动轨迹为输入,模拟IMU的测量数据,测量数据包括加速度、角速度和磁场测量值;根据模拟的IMU的测量数据进行姿态解算,得到IMU的朝向;模拟惯性传感器‑骨骼校准过程中产生的误差,将误差融入IMU的朝向中,得到合成的IMU数据;对合成的IMU数据进行后处理,得到目标IMU数据,其中,后处理步骤包括坐标系变换与单位变换。本申请能够实现原始IMU信号的合成,并合成符合用户IMU硬件噪声分布的测量值,还能够通过模拟惯性传感器‑骨骼校准过程中产生的误差,降低动作捕捉误差。
-
公开(公告)号:CN113643419B
公开(公告)日:2024-04-23
申请号:CN202110723970.4
申请日:2021-06-29
Applicant: 清华大学
IPC: G06T17/00 , G06T15/00 , G06N3/0499 , G06N3/08
Abstract: 本申请提出一种基于深度学习的人体反向动力学求解方法:对获取到的目标的人体末端关节的坐标,首先利用深度全连接网络补全全身关节的坐标,之后根据全身关节的坐标利用深度全连接网络估计出人体的姿态,再判断估计出的人体的末端关节的坐标对应的位置与输入中要求达到的人体的末端关节的坐标对应的位置之间的误差是否达到设定的精度,若达到则进行渲染,否则利用循环坐标下降算法将姿态进行更新,并且重新判断直至渲染成功。本申请不限制根节点全局旋转,可以估计全局旋转,并通过循环坐标下降算法优化预估的姿态,从而使得最终得到的姿态更加自然、不失真,同时可以将得到的姿态实时渲染,得到渲染结果。
-
公开(公告)号:CN114417738A
公开(公告)日:2022-04-29
申请号:CN202210312217.0
申请日:2022-03-28
Applicant: 清华大学
IPC: G06F30/27 , G06N3/04 , G06N3/08 , G06F119/14
Abstract: 本申请涉及人体动作捕捉技术领域,特别涉及一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统,方法包括:采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据,得到骨骼在人体坐标系中的骨骼朝向和加速度,将骨骼朝向和加速度输入至预设的人体运动学模型,预测人体姿态、运动、以及人‑地接触信息并输入至预设的人体动力学模型,预测人体姿态、运动、关节受力和地面作用力,解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测,从而阻碍人体运动等问题,通过双重PD控制器连接人体运动学模型和人体动力学模型,融合为一个整体的稀疏惯性动捕和受力预测系统,实现了可靠的实时人体动捕及关节受力预测。
-
公开(公告)号:CN114332912A
公开(公告)日:2022-04-12
申请号:CN202111388992.6
申请日:2021-11-22
Applicant: 清华大学
Abstract: 本公开提出的基于IMU的人体运动捕捉和关节受力分析方法、装置及存储介质中,获取IMU传感器采集的惯性信息,利用T‑pose确定采集的惯性信息的偏差,并基于偏差对惯性信息进行校准,然后根据校准后的惯性信息,利用循环神经网络估计出人体的姿态和运动信息,再根据估计出的人体的姿态和运动信息,利用PD控制器得出人体每个关节的角加速度以及人体运动的线性加速度,最后利用人体动力学求解地面反作用力以及关节力矩。由此,本公开的提出的方法中,实现了跟踪人体的姿态和运动,并对人体关节进行受力分析,进而对人体姿态进行重建。同时,保护了用户的隐私。
-
公开(公告)号:CN114332912B
公开(公告)日:2024-06-25
申请号:CN202111388992.6
申请日:2021-11-22
Applicant: 清华大学
Abstract: 本公开提出的基于IMU的人体运动捕捉和关节受力分析方法、装置及存储介质中,获取IMU传感器采集的惯性信息,利用T‑pose确定采集的惯性信息的偏差,并基于偏差对惯性信息进行校准,然后根据校准后的惯性信息,利用循环神经网络估计出人体的姿态和运动信息,再根据估计出的人体的姿态和运动信息,利用PD控制器得出人体每个关节的角加速度以及人体运动的线性加速度,最后利用人体动力学求解地面反作用力以及关节力矩。由此,本公开的提出的方法中,实现了跟踪人体的姿态和运动,并对人体关节进行受力分析,进而对人体姿态进行重建。同时,保护了用户的隐私。
-
-
-
-
-
-
-
-
-