公开(公告)号：CN117316010A

公开(公告)日：2023-12-29

申请号：CN202311206977.4

申请日：2023-09-19

Applicant: 同济大学

Inventor： 尤鸣宇 ,  姚启皓 ,  何斌 ,  周洪钧

IPC: G09B9/00 ,  G06T19/00 ,  G06V10/82 ,  G06V10/774

Abstract: 本发明提出一种基于NVIDIA Isaac Sim指导椅子组装的元宇宙平台。通过这个平台，用户可以通过佩戴AR眼镜与Isaac Sim仿真环境进行实时交互，仿真环境通过预先训练好的AI算法可以对用户的拼装过程进行评价与指导，最终当用户拼装完成后，仿真环境会对拼装好的椅子进行稳定性验证，即通过仿真环境判断用户实际组装的椅子能否在现实世界中正常使用，提高元宇宙现实中应用，同时降低椅子装配难度，提高椅子装配的精度以及稳定性。

公开(公告)号：CN119579896A

公开(公告)日：2025-03-07

申请号：CN202411702338.1

申请日：2024-11-26

Applicant: 同济大学

Inventor： 尤鸣宇 ,  姚启皓

IPC: G06V10/26 ,  G06V10/764 ,  G06N3/0455 ,  G06V10/44 ,  G06V10/30 ,  G06T3/06 ,  G06V10/74

Abstract: 本发明公开了一种基于单视角图像和大语言模型引导的三维装配方法，用于服务机器人的自动装配。利用语义分割模型和边缘检测算法对单视角图像中的装配体进行部件级别的分割并获取相应的语义类别标签，实现对单视角图像的精确解析；设计了固定的提示词用以激活大语言模型中蕴含的装配先验知识，形成部件挑选规则，从而对三维装配的部件挑选过程进行指导，解决单视角图像中存在的部分遮挡问题；最终将从单视角图像中解析出的部件语义类别信息与大语言模型生成的装配次序信息编码进基于Transformer架构的部件装配网络，对挑选部件进行装配，预测其正确的装配位姿。大大提高了算法的泛化能力，提升了三维装配的精度。