公开(公告)号：CN112686201B

公开(公告)日：2022-09-30

申请号：CN202110032843.X

申请日：2021-01-11

Applicant: 大连理工大学

Inventor： 孙怡 ,  刘吉顺 ,  李晓冬

IPC: G06V40/10 ,  G06V10/774 ,  G06V10/40 ,  G06V10/82 ,  G06F3/01 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种基于双目RGB图像的手部深度及姿态估计方法，属于计算机视觉与深度学习领域。主要包含以下步骤：(1)数据获取及预处理；(2)搭建基于双目RGB图像手部深度图重建网络；(3)将视差图转换为深度图；(4)搭建基于深度图手部关节点估计网络；(5)训练搭建的神经网络。(6)在测试集上预测手部深度和关节点得到手部深度图和关节点3D坐标。本发明具有以下优点：一是通过从双目RGB图像中重建手部深度图可以获取手部深度信息，在人机交互领域有重要作用；二是基于重建得到的手部深度图来估计手部关节点相比于直接从RGB图像估计关节点精度更高，可以有效解决基于单目RGB图像估计关节点带来的深度不确定性。

公开(公告)号：CN112686201A

公开(公告)日：2021-04-20

申请号：CN202110032843.X

申请日：2021-01-11

Applicant: 大连理工大学

Inventor： 孙怡 ,  刘吉顺 ,  李晓冬

IPC: G06K9/00 ,  G06K9/62 ,  G06K9/46 ,  G06F3/01 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种基于双目RGB图像的手部深度及姿态估计方法，属于计算机视觉与深度学习领域。主要包含以下步骤：(1)数据获取及预处理；(2)搭建基于双目RGB图像手部深度图重建网络；(3)将视差图转换为深度图；(4)搭建基于深度图手部关节点估计网络；(5)训练搭建的神经网络。(6)在测试集上预测手部深度和关节点得到手部深度图和关节点3D坐标。本发明具有以下优点：一是通过从双目RGB图像中重建手部深度图可以获取手部深度信息，在人机交互领域有重要作用；二是基于重建得到的手部深度图来估计手部关节点相比于直接从RGB图像估计关节点精度更高，可以有效解决基于单目RGB图像估计关节点带来的深度不确定性。