-
公开(公告)号:CN116394277B
公开(公告)日:2023-08-25
申请号:CN202310676079.9
申请日:2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种仿人钢琴演奏机器人,仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座,其中,颈部对应两个自由度,以带动头部进行回转运动与俯仰运动,腰部对应两个自由度,以带动上半身进行回转运动与俯仰运动,该仿人钢琴演奏机器人可以通过视觉感知单元,对琴键的位置进行准确定位,并且可以智能化的识别出曲谱的内容,以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度,以及对两个机械臂位姿的控制,使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。
-
公开(公告)号:CN116423509A
公开(公告)日:2023-07-14
申请号:CN202310380499.2
申请日:2023-04-10
Applicant: 之江实验室
Abstract: 本申请提供一种基于深度神经网络的机械臂残余振动抑制方法及装置。其中,该机械臂振动抑制方法包括:获取机械臂在预设位姿和预设负载下的动力学特征,建立动力学特征与预设位姿、预设负载之间对应的数据集;基于数据集训练深度神经网络模型;根据机械臂的目标位姿和目标负载,利用深度神经网络模型预测目标动力学特征;根据目标动力学特征设计振动抑制器,配合运动控制器控制机械臂运动至目标位姿的同时抑制残余振动。可以实现,以低计算代价实现动力学特征在线实时预测,自适应设计振动抑制器,实现开放工作场景下的振动抑制。
-
公开(公告)号:CN112257717B
公开(公告)日:2021-03-30
申请号:CN202011526832.9
申请日:2020-12-22
Applicant: 之江实验室
Abstract: 本发明公开了一种针对未矫正图像的直线、椭圆和交点识别定位方法。本发明包括:输入一系列线段,利用线段之间的关系判断是否属于同一直线,分为若干线段集合;基于ransac随机抽样一致检测算法拆分误合并的分叉线,更新线段集合;使用最小二乘法初步判断线段集合的类型,分为圆形线和直线两类,并利用数学公式拟合表示,未分类的线段集合利用抛物线公式进行拟合;再次判断未分类的线段集合的类型,并修正椭圆数学公式;针对直线类的线段集合,通过拟合的数学表达式公式的关系得到交点,并验证交点的真实性;最终输出直线、椭圆和交点的位置信息。通过这种方式,降低复杂度,提高线性拟合程度。通过上述方法,仅通过未矫正的图像就可以实现对直线、椭圆和交点的识别定位。
-
公开(公告)号:CN116394277A
公开(公告)日:2023-07-07
申请号:CN202310676079.9
申请日:2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种仿人钢琴演奏机器人,仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座,其中,颈部对应两个自由度,以带动头部进行回转运动与俯仰运动,腰部对应两个自由度,以带动上半身进行回转运动与俯仰运动,该仿人钢琴演奏机器人可以通过视觉感知单元,对琴键的位置进行准确定位,并且可以智能化的识别出曲谱的内容,以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度,以及对两个机械臂位姿的控制,使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。
-
公开(公告)号:CN114347070B
公开(公告)日:2022-07-12
申请号:CN202210266969.8
申请日:2022-03-18
Applicant: 之江实验室
Abstract: 本发明公开了一种基于仿人臂爪机器人的弹琴动作控制方法、系统及装置。所述系统包括乐谱存储解析模块、弹琴动作序列生成模块、动作指令生成发送模块和动作指令接收执行模块。利用乐谱存储解析模块,完成对乐谱信息的读取。然后利用弹琴动作序列生成模块,得到仿人臂爪的弹琴动作序列。接着利用动作指令生成发送模块,将臂爪动作转换为对应的动作指令,并发送到臂爪执行端。最后利用动作指令接收执行模块,完成机械臂、爪对动作指令的接收和执行,最终实现仿人臂爪机器人对钢琴的演奏。基于本发明所提供的方法,仿人臂爪弹琴机器人能够充分发挥臂、爪的性能,高效稳定的实现较好的钢琴演奏效果。
-
公开(公告)号:CN112257717A
公开(公告)日:2021-01-22
申请号:CN202011526832.9
申请日:2020-12-22
Applicant: 之江实验室
Abstract: 本发明公开了一种针对未矫正图像的直线、椭圆和交点识别定位方法。本发明包括:输入一系列线段,利用线段之间的关系判断是否属于同一直线,分为若干线段集合;基于ransac随机抽样一致检测算法拆分误合并的分叉线,更新线段集合;使用最小二乘法初步判断线段集合的类型,分为圆形线和直线两类,并利用数学公式拟合表示,未分类的线段集合利用抛物线公式进行拟合;再次判断未分类的线段集合的类型,并修正椭圆数学公式;针对直线类的线段集合,通过拟合的数学表达式公式的关系得到交点,并验证交点的真实性;最终输出直线、椭圆和交点的位置信息。通过这种方式,降低复杂度,提高线性拟合程度。通过上述方法,仅通过未矫正的图像就可以实现对直线、椭圆和交点的识别定位。
-
公开(公告)号:CN117037288A
公开(公告)日:2023-11-10
申请号:CN202311287226.X
申请日:2023-10-08
Applicant: 之江实验室
IPC: G06V40/20 , G06V20/40 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06V10/46
Abstract: 本发明公开了一种基于Transformer双流融合网络的多模态人体动作识别方法及装置,该方法包括以下步骤:首先,提取人体动作视频数据的RGB帧和光流图像,等间隔采样一定长度的视频图像序列,并利用卷积神经网络为RGB帧和光流图像提取时空特征,作为双流网络模型的输入;然后,使用Transformer编码器捕捉单个分支网络的显著特性以及它们之间的交互特性;最后,将双路分支网络的输出进行融合,并将融合后的特征和单个分支网络的输出送入分类器实现对人体动作的有效识别。本发明通过Transformer编码器增强RGB帧和光流图像的特征表达与融合能力,能有效提高人体动作识别的性能,满足现实生活场景对于人体动作识别技术的应用需求。
-
公开(公告)号:CN112258509B
公开(公告)日:2021-03-30
申请号:CN202011505618.5
申请日:2020-12-18
Applicant: 之江实验室
IPC: G06T7/00 , G06T5/00 , G06T5/30 , G06T7/11 , G06T7/13 , G06T7/62 , G06T7/70 , G06T7/90 , G06K9/62
Abstract: 本发明公开了一种复杂光线条件下的绿色场地中白线提取方法。首先,利用完美反射白平衡、亮度统一、双边滤波等方法,对初始图像进行预处理,得到亮度均一、颜色均匀的彩色图片。然后,通过设计公式将图片中的白色部分分离为灰度图并进行滤波处理。为提高白色的分离效果,设计了白色增强公式进行处理,为提高对不明显白线的双边检测效果,本发明采用canny边缘检测算法来获取较为完整的白线边缘。最后,利用白线的双边相互平行的特点,实现对白线的识别,并计算白线的中心线来代替整个白线。基于本发明所提供的方法,在复杂光线条件下白线非常模糊的照片中都有着很好的白线提取效果。
-
公开(公告)号:CN112258509A
公开(公告)日:2021-01-22
申请号:CN202011505618.5
申请日:2020-12-18
Applicant: 之江实验室
IPC: G06T7/00 , G06T5/00 , G06T5/30 , G06T7/11 , G06T7/13 , G06T7/62 , G06T7/70 , G06T7/90 , G06K9/62
Abstract: 本发明公开了一种复杂光线条件下的绿色场地中白线提取方法。首先,利用完美反射白平衡、亮度统一、双边滤波等方法,对初始图像进行预处理,得到亮度均一、颜色均匀的彩色图片。然后,通过设计公式将图片中的白色部分分离为灰度图并进行滤波处理。为提高白色的分离效果,设计了白色增强公式进行处理,为提高对不明显白线的双边检测效果,本发明采用canny边缘检测算法来获取较为完整的白线边缘。最后,利用白线的双边相互平行的特点,实现对白线的识别,并计算白线的中心线来代替整个白线。基于本发明所提供的方法,在复杂光线条件下白线非常模糊的照片中都有着很好的白线提取效果。
-
-
-
-
-
-
-
-