-
公开(公告)号:CN115946106A
公开(公告)日:2023-04-11
申请号:CN202210849153.8
申请日:2022-07-19
Applicant: 国网安徽省电力有限公司超高压分公司 , 国网安徽省电力有限公司 , 中国科学技术大学先进技术研究院
Inventor: 董翔宇 , 尚伟伟 , 樊培培 , 何浩源 , 刘之奎 , 汤新胜 , 朱涛 , 张飞 , 李腾 , 廖军 , 柯艳国 , 罗沙 , 谢佳 , 李卫国 , 景瑶 , 张俊杰 , 蒋晶晶 , 施雯 , 马欢
Abstract: 本发明实施例提供一种基于二级物体检测网络的多指灵巧手分拣规划方法及系统,属于机器人的控制技术领域。所述方法包括:采集并构建分拣数据集和微调数据集;采用所述分拣数据集和微调数据集训练预设的二级物体检测网络;获取待识别的目标物体的彩色图像和深度图像;将所述彩色图像输入所述二级物体检测网络中,以得到目标物体的边界框位置信息;根据所述边界框位置信息裁剪所述深度图像以得到表示单个物体的子深度图像;分别获取每个所述子深度图像的中心点深度值、像素点数量以及与其他边界框的重叠面积;按照中心点深度值、像素点数量以及重叠面积的优先级顺序对每个物体进行排序;采用多指灵巧手按照排序的结果依次抓取所述物体。
-
公开(公告)号:CN114643586B
公开(公告)日:2022-09-30
申请号:CN202210566231.3
申请日:2022-05-24
Applicant: 中国科学技术大学
IPC: B25J9/16
Abstract: 本发明公开了一种基于深度神经网络的多指灵巧手抓取手势规划方法,包括:步骤1,根据采集的包含目标物体的深度图像,确定多指灵巧手的手掌第一位姿;步骤2,通过坐标系转换,得出手掌第二位姿;步骤3,根据深度图像和手掌第二位姿,利用手势预测网络得出初始抓取手势;步骤4,用抓取质量评估网络对初始抓取手势、手掌第一位姿和深度图像,依据抓取质量评估指标得出抓取质量的评估值相对多指灵巧手抓取手势的梯度;步骤5,在多指灵巧手的关节空间中利用梯度上升算法更新抓取手势,将得出的局部最优的抓取手势与手掌第二位姿结合作为控制多指灵巧手的最终抓取位形。本发明能得出抓取手势的局部最优解,提高多指灵巧手对未知物体的抓取成功率。
-
公开(公告)号:CN115946106B
公开(公告)日:2024-09-24
申请号:CN202210849153.8
申请日:2022-07-19
Applicant: 国网安徽省电力有限公司超高压分公司 , 国网安徽省电力有限公司 , 中国科学技术大学先进技术研究院
Inventor: 董翔宇 , 尚伟伟 , 樊培培 , 何浩源 , 刘之奎 , 汤新胜 , 朱涛 , 张飞 , 李腾 , 廖军 , 柯艳国 , 罗沙 , 谢佳 , 李卫国 , 景瑶 , 张俊杰 , 蒋晶晶 , 施雯 , 马欢
Abstract: 本发明实施例提供一种基于二级物体检测网络的多指灵巧手分拣规划方法及系统,属于机器人的控制技术领域。所述方法包括:采集并构建分拣数据集和微调数据集;采用所述分拣数据集和微调数据集训练预设的二级物体检测网络;获取待识别的目标物体的彩色图像和深度图像;将所述彩色图像输入所述二级物体检测网络中,以得到目标物体的边界框位置信息;根据所述边界框位置信息裁剪所述深度图像以得到表示单个物体的子深度图像;分别获取每个所述子深度图像的中心点深度值、像素点数量以及与其他边界框的重叠面积;按照中心点深度值、像素点数量以及重叠面积的优先级顺序对每个物体进行排序;采用多指灵巧手按照排序的结果依次抓取所述物体。
-
公开(公告)号:CN111844101B
公开(公告)日:2022-09-06
申请号:CN202010762978.7
申请日:2020-07-31
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种多指灵巧手分拣规划方法,包括:捕捉包含目标物体的彩色图像与深度图像;基于单图多框目标检测网络,从彩色图像中提取出若干包含单个目标物体的边界框,并基于边界框从深度图像中裁剪出相应的目标物体的深度图像;对于每个目标物体,若通过判断确定数据库中存在包含相同单个目标物体的深度图像,则提取数据库中相应的抓取点与抓取质量;否则,基于目标物体的深度图像计算抓取点与抓取质量;基于各目标物体对应的抓取质量,决策目标物体分拣次序,从而结合目标物体对应的抓取点驱动多指灵巧手抓取目标物体,并分拣至指定区域。该方法采用基于深度学习的规划策略,能在提升泛化性的同时,让多指灵巧手更有效地学习人类的行为。
-
公开(公告)号:CN111844101A
公开(公告)日:2020-10-30
申请号:CN202010762978.7
申请日:2020-07-31
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种多指灵巧手分拣规划方法,包括:捕捉包含目标物体的彩色图像与深度图像;基于单图多框目标检测网络,从彩色图像中提取出若干包含单个目标物体的边界框,并基于边界框从深度图像中裁剪出相应的目标物体的深度图像;对于每个目标物体,若通过判断确定数据库中存在包含相同单个目标物体的深度图像,则提取数据库中相应的抓取点与抓取质量;否则,基于目标物体的深度图像计算抓取点与抓取质量;基于各目标物体对应的抓取质量,决策目标物体分拣次序,从而结合目标物体对应的抓取点驱动多指灵巧手抓取目标物体,并分拣至指定区域。该方法采用基于深度学习的规划策略,能在提升泛化性的同时,让多指灵巧手更有效地学习人类的行为。
-
公开(公告)号:CN114643586A
公开(公告)日:2022-06-21
申请号:CN202210566231.3
申请日:2022-05-24
Applicant: 中国科学技术大学
IPC: B25J9/16
Abstract: 本发明公开了一种基于深度神经网络的多指灵巧手抓取手势规划方法,包括:步骤1,根据采集的包含目标物体的深度图像,确定多指灵巧手的手掌第一位姿;步骤2,通过坐标系转换,得出手掌第二位姿;步骤3,根据深度图像和手掌第二位姿,利用手势预测网络得出初始抓取手势;步骤4,用抓取质量评估网络对初始抓取手势、手掌第一位姿和深度图像,依据抓取质量评估指标得出抓取质量的评估值相对多指灵巧手抓取手势的梯度;步骤5,在多指灵巧手的关节空间中利用梯度上升算法更新抓取手势,将得出的局部最优的抓取手势与手掌第二位姿结合作为控制多指灵巧手的最终抓取位形。本发明能得出抓取手势的局部最优解,提高多指灵巧手对未知物体的抓取成功率。
-
-
-
-
-