公开(公告)号：CN116631064A

公开(公告)日：2023-08-22

申请号：CN202310775274.7

申请日：2023-06-28

Applicant: 重庆大学

Inventor： 潜丽妃 ,  罗玲 ,  姜宗伯 ,  仲元红 ,  徐乾锋 ,  黄智勇 ,  韩术 ,  钟代笛 ,  周庆

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/22 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明具体涉及基于关键点与网格顶点互补增强的3D人体姿态估计方法，包括：通过回归预测模型输出各个视频帧的SMPL模型参数；回归预测模型的处理步骤包括：通过骨干网提取关键点热度图以及浅层特征和最终层特征；依次将关键点热度图转换为2D关键点坐标和2D关键点特征，提取时空特征生成3D关键点坐标；通过多尺度特征处理生成部分3D顶点热度图并转换为3D顶点坐标；生成键点‑顶点坐嵌入特征，并通过SMPL参数回归模块输出SMPL模型参数；基于各个视频帧的SMPL模型参数构建SMPL模型。本发明能够实现在连续视频帧中对运动的人体进行连续、平滑的建模估计，并且能够改善SMPL参数回归网络在肢体旋转和体型的构建上存在的信息缺失和拟合难度大等问题。

公开(公告)号：CN116631064B

公开(公告)日：2025-04-22

申请号：CN202310775274.7

申请日：2023-06-28

Applicant: 重庆大学

Inventor： 潜丽妃 ,  罗玲 ,  姜宗伯 ,  仲元红 ,  徐乾锋 ,  黄智勇 ,  韩术 ,  钟代笛 ,  周庆

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/22 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明具体涉及基于关键点与网格顶点互补增强的3D人体姿态估计方法，包括：通过回归预测模型输出各个视频帧的SMPL模型参数；回归预测模型的处理步骤包括：通过骨干网提取关键点热度图以及浅层特征和最终层特征；依次将关键点热度图转换为2D关键点坐标和2D关键点特征，提取时空特征生成3D关键点坐标；通过多尺度特征处理生成部分3D顶点热度图并转换为3D顶点坐标；生成键点‑顶点坐嵌入特征，并通过SMPL参数回归模块输出SMPL模型参数；基于各个视频帧的SMPL模型参数构建SMPL模型。本发明能够实现在连续视频帧中对运动的人体进行连续、平滑的建模估计，并且能够改善SMPL参数回归网络在肢体旋转和体型的构建上存在的信息缺失和拟合难度大等问题。