公开(公告)号：CN114902872A

公开(公告)日：2022-08-16

申请号：CN202210443989.8

申请日：2022-04-26

Applicant: 华南理工大学

Inventor： 郑润森 ,  邓晓燕 ,  李昌昊 ,  李爵煜 ,  王柏畅 ,  韦炯光

IPC: A01D46/30 ,  G06V20/68 ,  G06V20/10 ,  G06V10/145 ,  G06V10/147 ,  G06V10/26 ,  G06V10/82 ,  G06T7/70 ,  G06T1/00

Abstract: 本发明公开了一种机器人采摘果实的视觉引导方法，涉及图像识别和处理技术领域。该方法步骤如下：通过Realsense D435i传感器获取RGB图像和深度图像；使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。本发明对机器人视觉引导采摘水果任务实现一套完整有效的解决办法。

公开(公告)号：CN117350335A

公开(公告)日：2024-01-05

申请号：CN202311227369.1

申请日：2023-09-21

Applicant: 华南理工大学

Inventor： 谭明奎 ,  黎浩坤 ,  李昌昊

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06V10/44 ,  G06V10/82

Abstract: 本发明公开了一种基于可避免溢出的卷积结构的实现方法、装置及介质，属于计算机技术领域。其中方法包括：设计避免溢出的卷积结构；其中所述卷积结构将输入通道进行分组卷积，输出为分组卷积的累加；设计配套的量化感知训练方法，对于卷积结构中不同的参数，使用不同的方法进行量化。本发明提出使用低比特累加器的可避免数值溢出的卷积结构，以期在保持模型准确率的情况下，使用低比特位宽的累加器存储卷积中间结果，以进一步提高模型的推理效率。

公开(公告)号：CN114902872B

公开(公告)日：2023-04-21

申请号：CN202210443989.8

申请日：2022-04-26

Applicant: 华南理工大学

Inventor： 郑润森 ,  邓晓燕 ,  李昌昊 ,  李爵煜 ,  王柏畅 ,  韦炯光

IPC: A01D46/30 ,  G06V20/68 ,  G06V20/10 ,  G06V10/145 ,  G06V10/147 ,  G06V10/26 ,  G06V10/82 ,  G06T7/70 ,  G06T1/00

Abstract: 本发明公开了一种机器人采摘果实的视觉引导方法，涉及图像识别和处理技术领域。该方法步骤如下：通过Realsense D435i传感器获取RGB图像和深度图像；使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。本发明对机器人视觉引导采摘水果任务实现一套完整有效的解决办法。

公开(公告)号：CN119647518A

公开(公告)日：2025-03-18

申请号：CN202411613849.6

申请日：2024-11-13

Applicant: 超级机器人研究院(黄埔) ,  华南理工大学

Inventor： 谭明奎 ,  李昌昊 ,  陈沛豪 ,  孙鑫宇 ,  樊琚岗 ,  王子旭 ,  刘艳霞 ,  杜卿

IPC: G06N3/045 ,  G06N3/092 ,  G06N3/008 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/09 ,  G06F18/214

Abstract: 本发明公开了一种面向人类意图感知理解的社交导航方法、设备及介质，其中方法包括：通过大语言模型和文本动作生成模型，自动构建人类动作导航的训练集；在基本导航模型中嵌入意图预测器模块，以构建具备意图理解能力的智能体导航模型；构建强化学习奖励函数和辅助损失函数，通过强化学习训练智能体导航模型。本发明提出人类动作自动构建框架，通过结合大语言模型模型和文本动作生成模型来生成多样真实的人类动作，不需依赖手工标注，有效的提高了协作导航数据集的生成效率和降低了成本。同时，本发明在基本导航模块中嵌入人类动作感知模块，赋予智能体理解人类动作意图的能力。本发明可广泛应用于机器人导航领域。

公开(公告)号：CN114916317B

公开(公告)日：2023-05-23

申请号：CN202210503646.6

申请日：2022-05-09

Applicant: 华南理工大学

Inventor： 韦炯光 ,  邓晓燕 ,  王柏畅 ,  郑润森 ,  李爵煜 ,  李昌昊

IPC: A01D46/30 ,  B25J11/00 ,  B25J19/00

Abstract: 本发明公开了一种多连杆果实采摘机械手，该机械手通过控制两个舵机分别驱动各自的摇臂，从而带动相应的连杆和夹爪，连杆组采用力放大的设计提高机械手的抓取能力，柔性夹爪作为主要的夹紧力来源避免损伤果实，橡胶硬爪作为辅助的限位将果实牢牢卡住，然后控制电机进而带动电机驱动齿轮，电机驱动齿轮啮合外齿回转轴承带动果实旋转，从而将果实轻松采摘下来。本机械手的机构弥补了传统机械爪易损伤果实、柔性机械爪负载不够大和采摘过程不够连续的问题，不仅降低了采摘果实的损伤率，同时可适配多种类型果实和实现连续采摘，采摘效率高。以精简的设备以及快速简便的方式实现对果实的高效采摘，零件互换性高，适应性强，易于推广应用。

公开(公告)号：CN114916317A

公开(公告)日：2022-08-19

申请号：CN202210503646.6

申请日：2022-05-09

Applicant: 华南理工大学

Inventor： 韦炯光 ,  邓晓燕 ,  王柏畅 ,  郑润森 ,  李爵煜 ,  李昌昊

IPC: A01D46/30 ,  B25J11/00 ,  B25J19/00

Abstract: 本发明公开了一种多连杆果实采摘机械手，该机械手通过控制两个舵机分别驱动各自的摇臂，从而带动相应的连杆和夹爪，连杆组采用力放大的设计提高机械手的抓取能力，柔性夹爪作为主要的夹紧力来源避免损伤果实，橡胶硬爪作为辅助的限位将果实牢牢卡住，然后控制电机进而带动电机驱动齿轮，电机驱动齿轮啮合外齿回转轴承带动果实旋转，从而将果实轻松采摘下来。本机械手的机构弥补了传统机械爪易损伤果实、柔性机械爪负载不够大和采摘过程不够连续的问题，不仅降低了采摘果实的损伤率，同时可适配多种类型果实和实现连续采摘，采摘效率高。以精简的设备以及快速简便的方式实现对果实的高效采摘，零件互换性高，适应性强，易于推广应用。

公开(公告)号：CN217002824U

公开(公告)日：2022-07-19

申请号：CN202220660554.4

申请日：2022-03-24

Applicant: 华南理工大学

Inventor： 王柏畅 ,  邓晓燕 ,  韦炯光 ,  郑润森 ,  李昌昊 ,  李爵煜

IPC: F16D71/00

Abstract: 本实用新型公开了一种基于回转轴承的720度机械限位机构，包括：主动侧回转轴承、从动侧回转轴承、主动侧滑块、从动侧滑块、固定块、支撑柱。主动侧转动时主动侧滑块同时转动，转动180度后主动侧滑块与从动侧滑块相接触从而带动从动侧滑块运动，再转过180度后，从动侧滑块与固定块相撞而无法继续运动，实现了机械限位。本实用新型通过滑块和固定块的尺寸设计，使得在定轴转动的过程中实现机械限位；通过对滑块形状的设计实现运动过程中不发生非必要的干涉；添加支撑柱能够分担轴向的压力，使得转动更加顺滑。同时，整个机构的尺寸大小和使用方式以及对回转轴承的改造，令该实用新型具有易加工、使用便利、受力良好、实用耐用的特点。