-
公开(公告)号:CN117226854B
公开(公告)日:2024-02-02
申请号:CN202311505956.2
申请日:2023-11-13
Applicant: 之江实验室
Abstract: 本说明书公开了一种夹取任务的执行方法、装置、存储介质及电子设备。所述方法包括:获取包含有目标物的图像数据,并确定目标物对应的轮廓信息以及目标物所处环境的环境信息;根据轮廓信息,确定目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息;根据环境信息、位姿信息、形体信息、语义信息以及每种夹取姿态对应的预设夹取姿态信息,确定通过不同夹取姿态夹取目标物中每种部件时的夹取损失值;根据夹取损失值,在各夹取姿态中确定出目标夹取姿态,以及在目标物的各部件中确定出目标部件,并按照目标夹取姿态执行针对目标部件的夹取任务。
-
公开(公告)号:CN117351935A
公开(公告)日:2024-01-05
申请号:CN202311444418.7
申请日:2023-11-01
Applicant: 之江实验室
IPC: G10L13/047 , G10L13/08 , H04L67/06
Abstract: 本申请涉及一种机器人的语音合成方法、装置和机器人系统,其中,该机器人的语音合成方法包括:从语音合成服务器中下载分句集合中当前分句的语音合成结果;其中,分句集合为预先基于预设的分句规则对待合成文本进行分句得到;在播放当前分句的语音合成结果的同时,判断语音合成服务器是否完成分句集合中下一条分句的语音合成,若是,则从语音合成服务器中下载下一条分句的语音合成结果。通过本申请,能够实现语音文本的合成、下载以及播放的并行执行,从而降低了播放之前等待语音文本合成和下载的时长,进而提高了机器人语音播放的效率。
-
公开(公告)号:CN116728419B
公开(公告)日:2023-12-22
申请号:CN202310996252.3
申请日:2023-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种弹琴机器人的连续弹琴动作规划方法、系统、设备及介质,包括:解析乐谱获取演奏信息;获取弹琴机器人的左/右机械臂末端在琴键上的覆盖范围;对琴键进行分区,基于分区分配每个音符对应的执行手臂;根据左/右机械臂分别对应的音符序列,以机械臂末端的移动距离总和最小为优化目标,规划每个音符对应的执行手指,得到左/右机械臂上每个手指对应的手指动作序列;根据手指的动作序列和手指的活动范围,得到每个音符起止时刻的左/右机械臂末端演奏序列;将每个音符起止时刻的左/右机械臂末端演奏序列在时间上进行连续插值,获得整个演奏序列的左/右机机械臂末端的移动轨迹和手指动作轨迹序列。
-
公开(公告)号:CN116974276A
公开(公告)日:2023-10-31
申请号:CN202310517625.4
申请日:2023-05-09
Applicant: 之江实验室 , 中国地质大学(武汉)
IPC: G05D1/02
Abstract: 本发明提供一种通讯中断故障下的机器人编队跟随控制方法及系统,包括步骤:构建机器人编队的控制器;在地图上获得机器人编队的起始点和目标点,通过起始点、目标点和融合轨迹规划算法计算获得最优轨迹;若机器人编队的通讯故障,则通过通讯故障下前驱状态约束控制器控制机器人编队中的跟随者跟随领导者移动。本发明提出了一种融合轨迹规划算法,通过将全局规划器A*和局部规划器TEB融合,兼顾了全局路径最优以及局部避障;提出了一种约束切换函数,当约束函数有切换动作时使得约束目标被满足,保证了跟随者在通讯故障的情况下,全程状态不会超过规定的状态约束。
-
公开(公告)号:CN116728419A
公开(公告)日:2023-09-12
申请号:CN202310996252.3
申请日:2023-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种弹琴机器人的连续弹琴动作规划方法、系统、设备及介质,包括:解析乐谱获取演奏信息;获取弹琴机器人的左/右机械臂末端在琴键上的覆盖范围;对琴键进行分区,基于分区分配每个音符对应的执行手臂;根据左/右机械臂分别对应的音符序列,以机械臂末端的移动距离总和最小为优化目标,规划每个音符对应的执行手指,得到左/右机械臂上每个手指对应的手指动作序列;根据手指的动作序列和手指的活动范围,得到每个音符起止时刻的左/右机械臂末端演奏序列;将每个音符起止时刻的左/右机械臂末端演奏序列在时间上进行连续插值,获得整个演奏序列的左/右机机械臂末端的移动轨迹和手指动作轨迹序列。
-
公开(公告)号:CN116394277B
公开(公告)日:2023-08-25
申请号:CN202310676079.9
申请日:2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种仿人钢琴演奏机器人,仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座,其中,颈部对应两个自由度,以带动头部进行回转运动与俯仰运动,腰部对应两个自由度,以带动上半身进行回转运动与俯仰运动,该仿人钢琴演奏机器人可以通过视觉感知单元,对琴键的位置进行准确定位,并且可以智能化的识别出曲谱的内容,以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度,以及对两个机械臂位姿的控制,使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。
-
公开(公告)号:CN116631380A
公开(公告)日:2023-08-22
申请号:CN202310909532.6
申请日:2023-07-24
Applicant: 之江实验室
IPC: G10L15/02 , G10L15/06 , G10L15/16 , G10L15/26 , G10L15/25 , G06V40/20 , G06V10/40 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08 , G10L15/08
Abstract: 本发明公开了一种音视频多模态的关键词唤醒方法及装置,该方法包括:获取图像序列和音频序列;对所述图像序列进行嘴唇检测处理并提取检测到的嘴唇部分图像,将提取出的嘴唇图像序列利用嘴唇特征提取神经网络进行处理,得到图像特征;对所述音频序列做音频特征提取,将提取到的音频特征利用音频特征处理神经网络进行处理,得到音频高维特征;对所述图像特征和所述音频高维特征进行特征融合;将融合得到的音视频特征利用多模特征处理神经网络进行处理,得到多模高维特征;将所述图像特征、音频高维特征和多模高维特征融合成一个混合高维特征;基于所述混合高维特征,利用关键词唤醒分类器判断是否需要唤醒。
-
公开(公告)号:CN116424585A
公开(公告)日:2023-07-14
申请号:CN202310689850.6
申请日:2023-06-12
Applicant: 之江实验室
IPC: B64G1/64
Abstract: 本申请提供一种载荷适配器及其工作方法,其中,该载荷适配器包括主动端和被动端。主动端包括主动框体,主动框体的一侧与舱外载荷固定连接,另一侧固设有依次连接的驱动结构、传动结构和自旋结构。被动端包括被动框体,被动框体的一侧与空间飞行器的舱外暴露平台连接,另一侧固设有与自旋结构相配合的配合结构。自旋结构与配合结构之间对应并接触时,自旋结构能与配合结构之间固连或分离以使主动端和被动端之间锁紧或解锁。该载荷适配器不需要另外设置分离驱动结构即可实现应急解锁,同时可以克服主动端和被动端之间贴近或分离时各个连接组件之间的摩擦力,快速实现载荷适配器连接的舱外载荷和空间飞行器舱外暴露平台之间的固连或分离。
-
公开(公告)号:CN116423527A
公开(公告)日:2023-07-14
申请号:CN202310689825.8
申请日:2023-06-12
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本说明书公开了一种机械臂的构建方法、装置、存储介质及电子设备。机械臂的构建方法包括:在仿真环境中构建虚拟机械臂的初始三维模型,确定各关节的角度变换序列,将各关节对应的角度变换序列输入动力学模型,确定各关节的载荷变换序列并将载荷的最大值作为极限载荷,向虚拟机械臂的每个关节施加各关节各自对应的极限载荷,在虚拟机械臂的执行器上施加目标外载,以计算极限应力,以及,在各关节上施加单位扭矩,确定各关节对应的单位应力,基于单位应力以及载荷变换序列,确定应力变换序列,根据应力变换序列确定疲劳寿命,根据极限应力以及疲劳寿命得到目标三维模型并构建真实机械臂。
-
公开(公告)号:CN116423509A
公开(公告)日:2023-07-14
申请号:CN202310380499.2
申请日:2023-04-10
Applicant: 之江实验室
Abstract: 本申请提供一种基于深度神经网络的机械臂残余振动抑制方法及装置。其中,该机械臂振动抑制方法包括:获取机械臂在预设位姿和预设负载下的动力学特征,建立动力学特征与预设位姿、预设负载之间对应的数据集;基于数据集训练深度神经网络模型;根据机械臂的目标位姿和目标负载,利用深度神经网络模型预测目标动力学特征;根据目标动力学特征设计振动抑制器,配合运动控制器控制机械臂运动至目标位姿的同时抑制残余振动。可以实现,以低计算代价实现动力学特征在线实时预测,自适应设计振动抑制器,实现开放工作场景下的振动抑制。
-
-
-
-
-
-
-
-
-