公开(公告)号：CN118682751A

公开(公告)日：2024-09-24

申请号：CN202410753032.2

申请日：2024-06-12

Applicant: 浙江大学

Inventor： 王进 ,  刘华雨 ,  张海运 ,  陆国栋

IPC: B25J9/16 ,  B25J9/22

Abstract: 本发明公开了基于任务参数化与核化运动基元的技能轨迹泛化方法，首先通过动觉示教采集多组机器人末端位姿轨迹用以表征技能，将四元数表示的姿态轨迹基于黎曼流形重新表示，然后使用动态时间规整算法将所有演示轨迹进行时间对齐完成预处理。将演示轨迹的起止位姿设置为任务参数，并将所有轨迹分别投影变换至各任务参数中表示，在每个任务参数下使用高斯混合模型与高斯混合回归生成新的概率分布作为技能参考轨迹分布。使用核化运动基元算法对技能参考轨迹重新建模，对核化运动基元算法的超参数进行优化，并通过局部采样参考轨迹的方式来修正原始核化运动基元的建模结果，实现轨迹的局部特征增强，最后给定新任务参数，实现新场景下的技能轨迹泛化。

公开(公告)号：CN116978117A

公开(公告)日：2023-10-31

申请号：CN202310765621.8

申请日：2023-06-27

Applicant: 余姚市机器人研究中心 ,  浙江大学

Inventor： 王进 ,  王远航 ,  刘华雨 ,  张海运 ,  陆国栋

IPC: G06V40/20 ,  G06V20/70 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/082

Abstract: 本发明公开了一种基于时序图卷积网络的三维手臂姿态估计方法，首先构建三维手臂姿态数据集，并按一定比例划分为训练集和测试集；进一步地，构建人体手臂无向拓扑图，通过邻接矩阵对该图结构进行表达；基于不同通道应用不同权值矩阵的方式设计通道语义局部图卷积来提升图卷积表达能力；基于多头注意力机制，并不再局限于逐元素点积操作，设计自适应全局图卷积模块，增强对输入的自适应能力；进一步地，综合两个图卷积模块设计SAG模块，将其与基于时序卷积的VideoPose3d网络相结合，实现从单目RGB视频序列中的二维关节估计人体三维姿态信息，并优于主流模型。

公开(公告)号：CN116721464A

公开(公告)日：2023-09-08

申请号：CN202310672660.3

申请日：2023-06-08

Applicant: 浙江大学 ,  余姚市机器人研究中心

Inventor： 王进 ,  刘华雨 ,  张海运 ,  张科文 ,  陆国栋

IPC: G06V40/20 ,  G06V10/46 ,  G06V10/82 ,  G06V10/74 ,  G06V10/762 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/048 ,  B25J9/16

Abstract: 本发明公开了基于高斯混合模型与动态运动基元的机器书写方法及装置，通过多个第一视角人类书写的视频，使用深度学习模型识别并跟踪自定义的笔身关键点，将关键点轨迹作为手写字符或汉字的轨迹；将提取的所有轨迹从各自的像素坐标系中变换至自定义任务空间坐标系中的合适位置，再通过动态时间规整算法将所有轨迹进行时间对齐；采用高斯混合模型对所有样本数据进行建模学习，经EM算法求解后，给定新的时间序列，通过高斯混合回归生成最优书写轨迹的二维坐标序列；然后通过动态运动基元算法再次学习该最优轨迹，从而在保留书写轨迹形状特征的同时，能够适应不同的起始和终止点，还能实现时间维度的缩放；最后通过逆运动学计算使机器人成功执行。

公开(公告)号：CN118628455A

公开(公告)日：2024-09-10

申请号：CN202410720715.8

申请日：2024-06-05

Applicant: 余姚市机器人研究中心 ,  浙江大学

Inventor： 刘华雨 ,  王进 ,  张海运 ,  陆国栋

IPC: G06T7/00 ,  G06T7/73 ,  G06T7/80 ,  G06V20/70 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了基于三角化原理的物品三维语义关键点制作与检测方法，首先使用多个AprilTag二维码构建AprilTags板用于后续相机位姿的获取，并使用激光跟踪仪对机器人进行标定以降低机器人重复定位精度；预先设置多个视角，机器人携带相机获取多视角下的相机位姿，然后再使用机器人携带相机获取多视角下的RGB图像数据，将相机位姿与图像数据相对应。预定义的物品语义关键点配置，基于三角化原理标注语义关键点，并传播标注结果至所有图像，然后基于最小二乘原理对已标注关键点进行微调。最后基于HRNet网络构建三维语义关键点检测网络，通过多分支预测，实现单个或多个物品对象的语义关键点三维坐标检测，为机器人后续的对象操作任务服务。

公开(公告)号：CN116597452A

公开(公告)日：2023-08-15

申请号：CN202310493724.3

申请日：2023-05-05

Applicant: 浙江大学

Inventor： 王进 ,  仲岳灵风 ,  刘华雨 ,  茅译文

IPC: G06V30/19 ,  G06V30/196 ,  G06V30/18

Abstract: 本发明公开了基于CT‑GSA的手写汉字书写路径生成方法及装置，通过手写汉字笔画轮廓采样与约束字典建立，基于约束三角剖分CT的笔画骨架拓补点集求解，完成保留笔画风格的书写路径拓补特征点集求解；对手写汉字几何笔画轮廓进行边界退化，以实现优化，得到可用于笔画路径搜索的骨架拓补点集；对点集中的路径点进行最邻近点排序，在路径搜索过程中建立对应的边界碰撞约束，完成在路径搜索前对笔画骨架拓补点集的预处理；基于图搜索算法GSA对拓补点集进行笔画路径生成，得到最终的保留笔画风格以及拓补特征的适用于机械臂的手写汉字笔画书写路径。本发明能够得到适用于机械臂的保留手写汉字笔画拓补特征的相对平顺的书写路径。

公开(公告)号：CN119589658A

公开(公告)日：2025-03-11

申请号：CN202411514294.X

申请日：2024-10-28

Applicant: 余姚市机器人研究中心 ,  浙江大学

Inventor： 易际澳 ,  王进 ,  张海运 ,  李小飞 ,  刘华雨 ,  陆国栋

IPC: B25J9/16 ,  B25J9/22

Abstract: 本发明公开了一种基于动态运动原语与人工势场法的实时技能轨迹生成方法，包括：步骤1：采集一组物体轨迹作为演示轨迹，并获取轨迹信息；步骤2：基于轨迹信息，采用动态运动原语算法对演示轨迹进行学习；步骤3：实时的根据目标物体位置以及当前时刻任务物体坐标系原点位置，生成下一个时刻对应的任务物体坐标系原点位置；步骤4：对生成的下一个时刻任务物体坐标系原点位置进行碰撞检测，如果发生碰撞，则根据人工势场法生成避障梯度，调节下一个轨迹点位直至不碰撞，否则回到步骤3直至任务完成。本发明方法能够对技能演示轨迹进行模仿学习，以编码技能的重要轨迹特征，避免不需要的镜像能力，减小轨迹的过度放大，提高末端轨迹相似度。

公开(公告)号：CN116959002A

公开(公告)日：2023-10-27

申请号：CN202310512711.6

申请日：2023-05-09

Applicant: 余姚市机器人研究中心 ,  浙江大学

Inventor： 王进 ,  仲岳灵风 ,  茅译文 ,  刘华雨

IPC: G06V30/226 ,  G06V30/18 ,  G06V30/19 ,  G06V30/162

Abstract: 本发明公开了基于迭代适应和匹配算法的手写汉字笔画拆分方法及装置，对图像进行预处理，检测手写汉字笔画拆分关键点，获得拆分关键点集，拆分点匹配；具体地，基于迭代适应点法（D‑P）对连通域分割后的手写汉字轮廓进行关键点检测，并对关键点集构成的多边形进行凹点判断，得到由凹点组成的拆分关键点集；通过在凹点集中引入凹点的闵式距离和余弦距离这两个指标作为权值构建匹配的二部图，基于匈牙利匹配算法（HMA）进行拆分点匹配，得到最终用于切割笔画的凹点对。本发明能够实现面向机器人书写的具有复杂轮廓的手写汉字无人工干预的高准确率笔画拆分。