公开(公告)号：CN113888697A

公开(公告)日：2022-01-04

申请号：CN202111144111.6

申请日：2021-09-28

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  张宝文 ,  张寅达 ,  马翠霞 ,  王宏安

IPC: G06T17/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种双手交互状态下的三维重建方法，其步骤包括：1)输入单张彩色图像，2)检测图像中双手关键点的2.5D热图；3)提取该彩色图像的特征；4)将2.5D热图和所提取的特征输入到ResNet50深层残差模块中提取特征图；5)根据2.5D热图得到左、右手注意力图；6)使用特征图预测双手之间的相对位置关系；7)根据特征图与左、右手注意力图得到左、右手特征图；8)利用左、右手特征图预测左、右手参数化模型的参数；9)根据参数回归双手的三维关键点位置，生成左、右手注意力图更新模型参数；使用最新预测的模型参数生成的左、右手注意力图与特征图生成人手参数化模型。本发明适用于双手交叉或分离状态的三维重建。

公开(公告)号：CN113888697B

公开(公告)日：2024-11-12

申请号：CN202111144111.6

申请日：2021-09-28

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  张宝文 ,  张寅达 ,  马翠霞 ,  王宏安

IPC: G06T17/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种双手交互状态下的三维重建方法，其步骤包括：1)输入单张彩色图像，2)检测图像中双手关键点的2.5D热图；3)提取该彩色图像的特征；4)将2.5D热图和所提取的特征输入到ResNet50深层残差模块中提取特征图；5)根据2.5D热图得到左、右手注意力图；6)使用特征图预测双手之间的相对位置关系；7)根据特征图与左、右手注意力图得到左、右手特征图；8)利用左、右手特征图预测左、右手参数化模型的参数；9)根据参数回归双手的三维关键点位置，生成左、右手注意力图更新模型参数；使用最新预测的模型参数生成的左、右手注意力图与特征图生成人手参数化模型。本发明适用于双手交叉或分离状态的三维重建。

公开(公告)号：CN118736118A

公开(公告)日：2024-10-01

申请号：CN202410809854.8

申请日：2024-06-21

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  张宝文 ,  李家和 ,  张寅达 ,  马翠霞 ,  王宏安

IPC: G06T17/00 ,  G06N3/0455 ,  G06N3/082

Abstract: 本发明公开了一种带有稠密对应关系的形状表示方法和系统。该方法仅使用被表示对象的形状数据集学习带有稠密对应关系的形状表示模型，并且能处理大形变物体。该方法无监督地优化模板形状以及目标形状与模板形状之间的对应关系，设计了模板形状正则约束和多尺度对应点刚性约束。本发明能够表示各种大幅度运动的物体，且训练时不需要骨架先验，大量实验表明提出的方法在人体和动物等数据集上都取得很好的实验结果，可满足专业的或者大众化的应用需求。