公开(公告)号：CN110175566B

公开(公告)日：2022-12-23

申请号：CN201910448208.2

申请日：2019-05-27

Applicant: 大连理工大学

Inventor： 林相波 ,  周一丹 ,  孙怡 ,  马晓红

IPC: G06V40/10 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/766 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块，全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路，两个支路所提取的特征，进行多模态融合后形成全局特征，送入分支并行干扰消除模块进行手部分支的特征提取，得到强化的手部分支特征，用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合，达到具有较高准确度的手部姿态估计。

公开(公告)号：CN110175566A

公开(公告)日：2019-08-27

申请号：CN201910448208.2

申请日：2019-05-27

Applicant: 大连理工大学

Inventor： 林相波 ,  周一丹 ,  孙怡 ,  马晓红

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块，全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路，两个支路所提取的特征，进行多模态融合后形成全局特征，送入分支并行干扰消除模块进行手部分支的特征提取，得到强化的手部分支特征，用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合，达到具有较高准确度的手部姿态估计。