一种基于RGBD融合网络的手部姿态估计系统及方法

    公开(公告)号:CN110175566A

    公开(公告)日:2019-08-27

    申请号:CN201910448208.2

    申请日:2019-05-27

    Abstract: 本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块,全局深度特征提取模块,采用平行的两路交叉融合的残差网络,上路为高分辨率的特征图,下路为低分辨率特征图,通过交叉融合多分辨率的信息来进行多尺度特征融合,最终在高分辨率特征图预测网络输出;系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路,两个支路所提取的特征,进行多模态融合后形成全局特征,送入分支并行干扰消除模块进行手部分支的特征提取,得到强化的手部分支特征,用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合,达到具有较高准确度的手部姿态估计。

    一种基于单轨迹示教的五指机械手抓取与操作系统

    公开(公告)号:CN117901147B

    公开(公告)日:2025-03-18

    申请号:CN202410262794.2

    申请日:2024-03-07

    Abstract: 本发明提供一种基于单轨迹示教的五指机械手抓取与操作系统,其数据集获取单元用于获取数据集;遥操作单元用于将人手动作映射到仿真中,控制灵巧手运动,在与仿真中的物体进行交互后,得到相应的专家示教数据,对数据中使用的物体进行手物交互关键点与功能区标注,标注机械手的抓取手型,并将示教物体的功能区通过点云配准方法迁移到同类别物体上;基础学习单元用于对专家示教数据进行基础学习阶段快速训练,得到基础策略;扩展学习单元用于引进扩展策略,并与基础策略在功能区迁移完成的情况下进行联合训练,得到可以应用的灵巧手策略,完成新物体的抓取和操作。指标评估单元用于通过抓取成功率和学习效率来评估系统的抓取和操作指标。

    一种分关节的手部姿态估计方法

    公开(公告)号:CN111428555B

    公开(公告)日:2022-09-20

    申请号:CN202010053784.X

    申请日:2020-01-17

    Abstract: 本发明提供分关节的手部姿态估计方法,包括:S1、准备数据集;S2、设计网络结构,将数据集中的图像数据输入到神经网络进行处理和融合重构;S3、设计损失函数;S4、构建网络并进行网络训练,网络使用python2.7基于tensorflow1.3构建,在配有GTX1080显卡的主机上进行训练和测试;S5、通过评价指标对测试结果进行分析;所述评价指标包括平均关节误差、正确检测帧比率以及平均检测速度。本发明依据手指功能区别设计了分手指、分关节的手部姿态估计网络结构,使手部姿态估计具有较高的准确度。

    一种驾驶环境下手部区域的检测方法

    公开(公告)号:CN110110665B

    公开(公告)日:2021-05-04

    申请号:CN201910378179.7

    申请日:2019-05-08

    Abstract: 本发明公开了一种驾驶环境下手部区域的检测方法,包括如下步骤:步骤1)准备数据集,该数据集在真实驾驶环境中通过安装在驾驶室不同位置处的相机设备拍摄驾驶室内景况下获取,并将数据集分为训练图像集和测试图像集,然后对数据集进行数据扩充,之后生成新的手部包围框;步骤2)构建手部检测卷积神经网络结构,采用多尺度架构,利用不同尺度上的特征信息,完成特征提取并融合;步骤3)采用ADAM优化算法端到端训练,从训练图像集中随机采样,当损失函数L稳定后停止训练;步骤4)采用非极大值抑制用来消除冗余的候选框,得到最佳的手部包围框;步骤5)公布检测结果;便于实现对人类手部区域的检测,适用于驾驶室环境下的人手区域标注。

    一种随意光照下彩色数字图像增强和去噪方法

    公开(公告)号:CN102129673A

    公开(公告)日:2011-07-20

    申请号:CN201110097881.X

    申请日:2011-04-19

    Abstract: 本发明公开了一种随意光照下彩色数字图像增强和去噪方法,其特征在于包括如下步骤:1、图像去噪处理:将原始图像从RGB空间转换到YCbCr空间,通过高斯滤波器去除高斯分布噪声和中值滤波去除椒盐噪声;2、图像亮度/对比度拉伸处理:将图像从RGB空间转换到HSI空间,通过双边滤波器对其进行分解,再通过改进Retinex模型算法进行处理;再通过饱和度补偿,得到新的图像饱和度;3、最后对上述YCbCr空间去噪后获取的图像和HSI空间处理获取的图像进行融合显示。本发明所述方法能够保持图像的彩色恒常性,较好地提升图像的动态范围,同时也能抑制、去除图像的噪声,损失较少纹理和细节信息。

    一种基于渐进技能课程学习的五指机械灵巧手功能性抓取方法

    公开(公告)号:CN119704143A

    公开(公告)日:2025-03-28

    申请号:CN202411439562.6

    申请日:2024-10-15

    Inventor: 林相波 吕英岚

    Abstract: 本发明提供一种基于渐进技能课程学习的五指机械灵巧手功能性抓取方法,包括:利用遥操作示教系统,通过人手姿态检测和关节角度映射模块,用人手控制仿真系统中灵巧手的动作,抓握仿真系统中物体的功能部位,得到相应的专家演示;根据手形与物体类别定义不同的灵巧手与物体的交互任务,设计不同阶段的课程;开始渐进技能课程学习,学习框架分为初级、中级和高级课程,在每个阶段结束时,分别得到与低难度任务对应的初级策略集合、与中等难度任务对应的中级策略集合和一个与高难度任务对应的高级策略;经过渐进技能课程学习后,高级策略根据抓取手形分类信息和物体点云,通过直接执行或少量微调的方式,以正确的手形抓取不同类别物体的相应部位。

    一种基于RGBD融合网络的手部姿态估计系统及方法

    公开(公告)号:CN110175566B

    公开(公告)日:2022-12-23

    申请号:CN201910448208.2

    申请日:2019-05-27

    Abstract: 本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块,全局深度特征提取模块,采用平行的两路交叉融合的残差网络,上路为高分辨率的特征图,下路为低分辨率特征图,通过交叉融合多分辨率的信息来进行多尺度特征融合,最终在高分辨率特征图预测网络输出;系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路,两个支路所提取的特征,进行多模态融合后形成全局特征,送入分支并行干扰消除模块进行手部分支的特征提取,得到强化的手部分支特征,用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合,达到具有较高准确度的手部姿态估计。

    一种分关节的手部姿态估计方法

    公开(公告)号:CN111428555A

    公开(公告)日:2020-07-17

    申请号:CN202010053784.X

    申请日:2020-01-17

    Abstract: 本发明提供分关节的手部姿态估计方法,包括:S1、准备数据集;S2、设计网络结构,将数据集中的图像数据输入到神经网络进行处理和融合重构;S3、设计损失函数;S4、构建网络并进行网络训练,网络使用python2.7基于tensorflow1.3构建,在配有GTX1080显卡的主机上进行训练和测试;S5、通过评价指标对测试结果进行分析;所述评价指标包括平均关节误差、正确检测帧比率以及平均检测速度。本发明依据手指功能区别设计了分手指、分关节的手部姿态估计网络结构,使手部姿态估计具有较高的准确度。

    一种驾驶环境下手部区域的检测方法

    公开(公告)号:CN110110665A

    公开(公告)日:2019-08-09

    申请号:CN201910378179.7

    申请日:2019-05-08

    Abstract: 本发明公开了一种驾驶环境下手部区域的检测方法,包括如下步骤:步骤1)准备数据集,该数据集在真实驾驶环境中通过安装在驾驶室不同位置处的相机设备拍摄驾驶室内景况下获取,并将数据集分为训练图像集和测试图像集,然后对数据集进行数据扩充,之后生成新的手部区域标签;步骤2)构建手部检测卷积神经网络结构,采用多尺度架构,利用不同尺度上的特征信息,完成特征提取并融合;步骤3)采用ADAM优化算法端到端训练,从训练图像集中随机采样,当损失函数L稳定后停止训练;步骤4)采用非极大值抑制用来消除冗余的候选框,得到最佳的手部目标包围框;步骤5)公布检测结果;便于实现对人类手部区域的检测,适用于驾驶室环境下的人手区域标注。

    一种基于单轨迹示教的五指机械手抓取与操作系统

    公开(公告)号:CN117901147A

    公开(公告)日:2024-04-19

    申请号:CN202410262794.2

    申请日:2024-03-07

    Abstract: 本发明提供一种基于单轨迹示教的五指机械手抓取与操作系统,其数据集获取单元用于获取数据集;遥操作单元用于将人手动作映射到仿真中,控制灵巧手运动,在与仿真中的物体进行交互后,得到相应的专家示教数据,对数据中使用的物体进行手物交互关键点与功能区标注,标注机械手的抓取手型,并将示教物体的功能区通过点云配准方法迁移到同类别物体上;基础学习单元用于对专家示教数据进行基础学习阶段快速训练,得到基础策略;扩展学习单元用于引进扩展策略,并与基础策略在功能区迁移完成的情况下进行联合训练,得到可以应用的灵巧手策略,完成新物体的抓取和操作。指标评估单元用于通过抓取成功率和学习效率来评估系统的抓取和操作指标。

Patent Agency Ranking