-
公开(公告)号:CN119445125B
公开(公告)日:2025-04-22
申请号:CN202510041235.3
申请日:2025-01-10
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于稠密语义相似度的图像部件分割方法及系统,包括以下步骤:收集图像数据,将收集的图像数据作为基础图像数据集的数据;使用目标框选定目标图像中的物体;分别提取目标图像以及基础图像数据集的图像特征,得到图像的全局特征与描述子;计算每个目标图像全局特征与所有基础图像全局特征的稠密语义特征相似度,获得最相似基础图像;计算目标图像描述子与最相似基础图像的基础图像描述子稠密语义特征相似度,获取基础图像物体与目标物体之间部件的相似度,并根据相似度分割目标物体的部件。本发明对未见过的物体进行部件分割,提高物体部件语义分割的效果,降低对数据集的需求,有广泛的应用价值用。
-
公开(公告)号:CN113888631B
公开(公告)日:2024-05-24
申请号:CN202111017083.1
申请日:2021-08-31
Applicant: 华南理工大学
IPC: G06T7/73 , G06N3/0464 , G06N3/08 , G06T7/11
Abstract: 本发明公开了一种基于目标裁剪区域的指定物体抓取方法,包括以下步骤:S1、采集实际抓取场景的RGB图像和深度图像;S2、对采集的深度图像和RGB图像进行对齐和裁剪操作;S3、将处理后的RGB图像数据流输入目标检测网络,输出当前场景中抓取物体位置和区域;S4、将处理后的深度图像输出训练好的全卷积神经网络中,得到整个场景的抓取位姿;S5、根据目标检测的结果和整个场景的抓取位姿生成指定目标物体的抓取位姿;S6、将抓取位姿转化为机械臂操作空间的抓取位姿;S7、设置机器人抓取轨迹并完成抓取。本发明能够完成在多目标的场景中对指定的目标物体进行抓取操作,建立的级联全卷积神经网络具有轻量并准确率高的优点。
-
公开(公告)号:CN112507943B
公开(公告)日:2023-09-29
申请号:CN202011499627.8
申请日:2020-12-18
Applicant: 华南理工大学
IPC: G06V20/56 , G06V10/80 , G06V10/82 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种基于多任务神经网络的视觉定位导航方法、系统及介质,其中方法包括:设计多任务神经网络模型,所述多任务神经网络模型能同时完成目标检测与可通达语义地图构建两个任务;采用开源数据集和自建数据集对所述多任务神经网络模型进行训练及调优,获得最终的多任务神经网络模型;采用所述最终的多任务神经网络模型来实现视觉定位导航。本发明使用的多任务神经网络模型相较单任务网络可提高卷积神经网络的复用率,减小模型的体积并降低计算时延,能够更准确快速地完成AGV视觉定位导航中的目标检测与可通达地图构建分割任务,可广泛应用于计算机视觉技术领域。
-
公开(公告)号:CN116276971A
公开(公告)日:2023-06-23
申请号:CN202310075888.4
申请日:2023-02-07
Applicant: 华南理工大学
IPC: B25J9/16
Abstract: 本发明公开了一种V‑REP仿真环境下UR5机器人抓取控制方法,包括以下步骤:S1、采集仿真环境中机械臂末端相机模块的各类数据;S2、对图像进行压缩并传输至Android端显示,创建摇杆控件和滑块控件;S3、在Android端通过摇杆控件和滑块控件,采集操作指令,将采集到的操作指令数据进行编码并传输至PC端,PC端接收控制指令并解码为六自由度运动信息;S4、建立机械臂DH模型,根据运动指令逆解出各个关节的速度;S5、通过配置角度、角加速度的范围,对步骤S4得出的关节速度进行约束,从而得到更加真实的仿真效果;S6、将位置信息编码成仿真环境要求的格式,并发送至仿真环境中进行控制。
-
公开(公告)号:CN111360862B
公开(公告)日:2023-03-24
申请号:CN202010134999.4
申请日:2020-02-29
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于卷积神经网络的生成最佳抓取位姿的方法,包括以下步骤:S1、设定抓取过程中用来表征抓取质量的参数;S2、构建卷积神经网络模型;S3、采用Cornell Grasping数据集来训练神经网络模型;S4、将摄像头采集到的物体深度图输入至训练好的神经网络模型,计算出抓取参数,所述抓取参数用于驱动机械臂进行抓取。本发明提出的基于卷积神经网络模型的生成最佳抓取位姿的算法,仅需要输入物体的深度信息,便可快速得到物体的最佳抓取位姿,模型精简,可广泛推广在机械臂视觉抓取,动态追踪等领域。
-
公开(公告)号:CN111398984B
公开(公告)日:2022-03-29
申请号:CN202010204601.X
申请日:2020-03-22
Applicant: 华南理工大学
Abstract: 本发明提供了一种基于扫地机器人的自适应激光雷达点云校正与定位方法,包括以下步骤:S1.通过搭载在机器人上的激光雷达采集一帧新的数据;S2.通过轮式里程计采集距离d和旋转角度θ,直到采集激光数据帧一个周期结束,推测估计机器人在每个里程计时间戳对应的位姿;S3.考虑到误差的存在,对机器人位姿拟合,计算拟合结果后的均方差;S4.计算每个激光点云相对于扫地机器人的位姿Tk‑1的坐标P′k‑1;S5.获取扫地机器人的位姿Tk上的激光点云坐标,并把相邻两帧数据进行ICP匹配,得到扫地机器人的位姿Tk。本发明根据均方差结果自适应选用拟合模型,解决由于扫地机器人运动导致激光点云畸变进而导致地图畸变及定位不准的问题。
-
公开(公告)号:CN109885052B
公开(公告)日:2022-03-25
申请号:CN201910142417.4
申请日:2019-02-26
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于全向移动机器人运动学建模的误差模型预测控制方法,所述方法包括以下步骤:S11、建立FM‑OMR四个麦克纳姆轮之间的速度约束运动学模型;S12、建立FM‑OMR的跟踪误差运动学模型;S13、针对FM‑OMR的轨迹跟踪问题,针对跟踪误差运动学模型,设计结合速度约束方程的误差模型预测控制器;S14、根据所述误差模型预测控制器控制全向移动机器人之间的有效轨迹跟踪参数,使全向移动机器人之间的跟踪误差维持不变。本发明针对四个麦克纳姆轮的全向移动机器人提出了一种基于轨迹跟踪误差运动学建模的误差模型预测控制方法,解决了有效轨迹跟踪控制的非完整约束问题,准确性和有效性。
-
公开(公告)号:CN113808205A
公开(公告)日:2021-12-17
申请号:CN202111017087.X
申请日:2021-08-31
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于检测约束的快速动态目标抓取方法,包括以下步骤:S1建立快速目标检测方法;S2、用迁移学习的方法对S1中的网络进行训练;S3、使用S2中训练好的模型,基于摄像头获取的RGB图像数据流进行目标检测,实现对真实环境中抓取物体的分类与标注;S4、设计物体边界框矫正策略,减小图像中标注的边界框与真实边界框的偏差;S5、利用深度信息算法估计目标物体抓取点的深度值;S6、将抓取位姿映射到机器人操作空间中的三维抓取位姿。本发明提出了一种基于检测约束的快速动态目标抓取方法,并且建立MobileNetV3融合YOLOV4检测方法的检测算法,可以满足抓取操作对实时性的要求。
-
公开(公告)号:CN112989980A
公开(公告)日:2021-06-18
申请号:CN202110243763.9
申请日:2021-03-05
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于web云平台的目标检测系统及方法,该系统包括:摄像装置、终端装置以及服务器,终端装置分别与摄像装置、服务器连接;摄像装置用于拍摄获得采集图像;终端装置用于接收多个选择参数、将多个选择参数整合为模型参数表单、将模型参数表单发送至服务器、将待检测图像上传至服务器;服务器用于接收由终端装置生成的模型参数表单、基于模型参数表单进行训练模型、将已训练模型的参数数据发送至终端装置、对终端装置上传的待检测图像执行在线目标检测处理;其中已训练模型的参数数据在训练模型的过程中产生,本发明提供选择配置和数据集进行配置深度学习模型,在线对用户上传的图片进行目标检测,大大降低了深度学习的计算和知识门槛。
-
公开(公告)号:CN112927297A
公开(公告)日:2021-06-08
申请号:CN202110193024.3
申请日:2021-02-20
Applicant: 华南理工大学
Abstract: 本发明公开一种基于YOLO系列的目标检测和视觉定位方法,包括步骤:首先,获取待抓取目标的RGB彩色图像图像和深度图像;将采集的RGB彩色图像输入基于darknet框架搭建的YOLO系列目标检测模型中,获得坐标信息和类别及置信度;将坐标信息结合深度图像信息解算出待检测目标的空间三维坐标。本发明提出的基于目标检测算法的定位方法可以利用darknet框架上部署的YOLO系列目标检测算法对深度摄像头采集的RGB彩色图像图像进行二维定位,结合摄像头特殊位置获取的深度信息实现三维定位。YOLO系列目标检测算法相比其他的目标检测算法具有检测速度更快但检测精度也不俗的优势,可保证目标检测的精度,提高检测速度。
-
-
-
-
-
-
-
-
-