-
公开(公告)号：CN117207204B
公开(公告)日：2024-01-30
申请号：CN202311489049.3
申请日：2023-11-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置，通过相机获取到琴键区域图像之后，根据图像中的图像特征点确定各琴键在相机坐标系中的坐标，根据所述各图像特征点在相机坐标系下的坐标以及琴键模板确定出琴键模板中各琴键在相机坐标系下的坐标。通过弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标，确定出弹琴机器人与琴键之间的相对位置，通过预先确定的误差拟合函数，对弹琴机器人与琴键之间的相对位置进行误差补偿，控制弹琴机器人上机械臂弹奏补偿后的相对位置。通过预先确定的误差拟合函数对弹琴机器人与琴键之间的相对位置进行误差补偿，减少了弹琴机器人对琴键实时定位的误差。(56)对比文件WO 2022052941 A1,2022.03.17张涵等.竖笛演奏机器人的设计研究《.山东建筑大学学报》.2014,第29卷(第6期),第574-577页.刘佩霞等.自动弹琴机器人的设计《.山西电子技术》.2020,(第6期),第11-13页.
-
公开(公告)号：CN117037288A
公开(公告)日：2023-11-10
申请号：CN202311287226.X
申请日：2023-10-08
Applicant: 之江实验室
IPC: G06V40/20 , G06V20/40 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06V10/46
Abstract: 本发明公开了一种基于Transformer双流融合网络的多模态人体动作识别方法及装置，该方法包括以下步骤：首先，提取人体动作视频数据的RGB帧和光流图像，等间隔采样一定长度的视频图像序列，并利用卷积神经网络为RGB帧和光流图像提取时空特征，作为双流网络模型的输入；然后，使用Transformer编码器捕捉单个分支网络的显著特性以及它们之间的交互特性；最后，将双路分支网络的输出进行融合，并将融合后的特征和单个分支网络的输出送入分类器实现对人体动作的有效识别。本发明通过Transformer编码器增强RGB帧和光流图像的特征表达与融合能力，能有效提高人体动作识别的性能，满足现实生活场景对于人体动作识别技术的应用需求。
-
公开(公告)号：CN114419634B
公开(公告)日：2022-07-26
申请号：CN202210309939.0
申请日：2022-03-28
Applicant: 之江实验室
IPC: G06V30/40 , G06V30/304 , G06V30/148 , G06K9/62 , G06V10/26 , G06V10/762 , G06V30/19 , G06V10/764
Abstract: 本发明公开了一种基于特征规则的曲谱解析方法与装置。首先使用摄像头对纸质版的曲谱进行图像采集，在采集到的图像中检测曲谱所在的区域，并针对区域内的曲谱图像进行旋转校正。在校正后的曲谱图像中，先根据曲谱的谱线特征分离出谱线和符号，同时获取谱线及符号在图像上的像素坐标。分离出的符号根据符号特征进行分类，分为符号、描述符两种类型的符号，同时根据像素坐标可以获得三者之间的关联。符号可以获取音符的音调和拍号信息，描述符可以获取调号、谱号、连音、升降调等曲谱信息。综合符号和描述符及他们之间的关联关系，就能够智能解析出曲谱所包含的乐曲信息。本发明公开的曲谱解析方法具有音符识别准确率高的特点。
-
公开(公告)号：CN114419634A
公开(公告)日：2022-04-29
申请号：CN202210309939.0
申请日：2022-03-28
Applicant: 之江实验室
IPC: G06V30/40 , G06V30/304 , G06V30/148 , G06K9/62 , G06V10/26 , G06V10/762 , G06V30/19 , G06V10/764
Abstract: 本发明公开了一种基于特征规则的曲谱解析方法与装置。首先使用摄像头对纸质版的曲谱进行图像采集，在采集到的图像中检测曲谱所在的区域，并针对区域内的曲谱图像进行旋转校正。在校正后的曲谱图像中，先根据曲谱的谱线特征分离出谱线和符号，同时获取谱线及符号在图像上的像素坐标。分离出的符号根据符号特征进行分类，分为符号、描述符两种类型的符号，同时根据像素坐标可以获得三者之间的关联。符号可以获取音符的音调和拍号信息，描述符可以获取调号、谱号、连音、升降调等曲谱信息。综合符号和描述符及他们之间的关联关系，就能够智能解析出曲谱所包含的乐曲信息。本发明公开的曲谱解析方法具有音符识别准确率高的特点。
-
公开(公告)号：CN116728419B
公开(公告)日：2023-12-22
申请号：CN202310996252.3
申请日：2023-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种弹琴机器人的连续弹琴动作规划方法、系统、设备及介质，包括：解析乐谱获取演奏信息；获取弹琴机器人的左/右机械臂末端在琴键上的覆盖范围；对琴键进行分区，基于分区分配每个音符对应的执行手臂；根据左/右机械臂分别对应的音符序列，以机械臂末端的移动距离总和最小为优化目标，规划每个音符对应的执行手指，得到左/右机械臂上每个手指对应的手指动作序列；根据手指的动作序列和手指的活动范围，得到每个音符起止时刻的左/右机械臂末端演奏序列；将每个音符起止时刻的左/右机械臂末端演奏序列在时间上进行连续插值，获得整个演奏序列的左/右机机械臂末端的移动轨迹和手指动作轨迹序列。
-
Patent Agency Ranking
公开(公告)号：CN116728419A
公开(公告)日：2023-09-12
申请号：CN202310996252.3
申请日：2023-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种弹琴机器人的连续弹琴动作规划方法、系统、设备及介质，包括：解析乐谱获取演奏信息；获取弹琴机器人的左/右机械臂末端在琴键上的覆盖范围；对琴键进行分区，基于分区分配每个音符对应的执行手臂；根据左/右机械臂分别对应的音符序列，以机械臂末端的移动距离总和最小为优化目标，规划每个音符对应的执行手指，得到左/右机械臂上每个手指对应的手指动作序列；根据手指的动作序列和手指的活动范围，得到每个音符起止时刻的左/右机械臂末端演奏序列；将每个音符起止时刻的左/右机械臂末端演奏序列在时间上进行连续插值，获得整个演奏序列的左/右机机械臂末端的移动轨迹和手指动作轨迹序列。
-
公开(公告)号：CN116394277B
公开(公告)日：2023-08-25
申请号：CN202310676079.9
申请日：2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种仿人钢琴演奏机器人，仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座，其中，颈部对应两个自由度，以带动头部进行回转运动与俯仰运动，腰部对应两个自由度，以带动上半身进行回转运动与俯仰运动，该仿人钢琴演奏机器人可以通过视觉感知单元，对琴键的位置进行准确定位，并且可以智能化的识别出曲谱的内容，以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度，以及对两个机械臂位姿的控制，使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。
-
公开(公告)号：CN112257717B
公开(公告)日：2021-03-30
申请号：CN202011526832.9
申请日：2020-12-22
Applicant: 之江实验室
Abstract: 本发明公开了一种针对未矫正图像的直线、椭圆和交点识别定位方法。本发明包括：输入一系列线段，利用线段之间的关系判断是否属于同一直线，分为若干线段集合；基于ransac随机抽样一致检测算法拆分误合并的分叉线，更新线段集合；使用最小二乘法初步判断线段集合的类型，分为圆形线和直线两类，并利用数学公式拟合表示，未分类的线段集合利用抛物线公式进行拟合；再次判断未分类的线段集合的类型，并修正椭圆数学公式；针对直线类的线段集合，通过拟合的数学表达式公式的关系得到交点，并验证交点的真实性；最终输出直线、椭圆和交点的位置信息。通过这种方式，降低复杂度，提高线性拟合程度。通过上述方法，仅通过未矫正的图像就可以实现对直线、椭圆和交点的识别定位。
-
公开(公告)号：CN115223086B
公开(公告)日：2022-12-06
申请号：CN202211145164.4
申请日：2022-09-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V40/20 , G06V20/62 , G06V10/26 , G06V10/82 , G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交互注意力引导与修正的跨模态动作定位方法和系统，该方法使用三维卷积神经网络和词向量模型提取视频和文本描述的特征表示，并使用双向长短时间记忆网络学习视频和文本描述的上下文信息；再使用交互注意力引导模块进行视频和文本跨模态特征增强，进一步通过修正门控单元进行语义信息融合；最后将融合后的多模态特征送入到时序定位模块以获得时序片段的匹配度得分和时序边界偏移量。本发明通过增强视频和文本的特征融合能力，能有效提高视频动作定位的性能，满足现实生活中复杂场景的视频动作定位需求。
-
公开(公告)号：CN114359314B
公开(公告)日：2022-06-24
申请号：CN202210267015.9
申请日：2022-03-18
Applicant: 之江实验室
Abstract: 本发明公开了一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法。首先获得彩图和深度图并预处理；接着对彩图进行背景粗过滤，获得琴面候选区域；之后采用区域生长算法获取白键区域，再提取白键面上下轮廓边界线，获得琴键定位点集合；然后利用白键区域的深度图信息进行白键面拟合，获得定位点对应的点云信息；最后采用点云配准算法获得所有定位点在相机坐标系下的坐标。另外，通过定位检测得到的坐标，基于点云变换矩阵判断琴键位置是否存在异常。本发明方法在不同干扰环境下，仍然能快速检测定位钢琴琴键位置，并且通过定位结果判断琴键是否移动等异常状态，对仿人钢琴演奏机器人的臂爪定位有更好的鲁棒性和安全性。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.021 seconds)
