一种基于BundleFusion的三维重建方法

    公开(公告)号:CN118097030B

    公开(公告)日:2024-07-30

    申请号:CN202410487364.0

    申请日:2024-04-23

    Abstract: 本发明提供了一种基于BundleFusion的三维重建方法,包括使用已训练Mask‑RCNN模型提取识别图像数据集中的动态物体区域,对动态物体区域对应的动态标签进行标签一致性处理,得到一致性掩膜。对一致性掩膜进行膨胀处理,得到膨胀后掩膜。从相机图像中将膨胀后掩膜去除,得到掩膜去除图像。将掩膜去除图像和空间定位数据输入BundleFusion模型进行三维重建,得到三维网格模型。对动态物体区域对应的动态标签进行标签一致性处理,得到一致性掩膜,防止出现上下帧标签不一致和上下帧标签混乱的情况,从而降低出现误检和漏检的概率。膨胀后掩膜全部覆盖动态物体,可以降低动态物体边缘的掩膜覆盖不完全,而导致产生大量的ORB特征或光流特征点,在减少误差的同时保证了点云的生成。

    一种基于采摘机器人的茶芽叶位姿估计方法和系统

    公开(公告)号:CN118096891B

    公开(公告)日:2024-07-30

    申请号:CN202410494605.4

    申请日:2024-04-24

    Abstract: 本发明提供了一种基于采摘机器人的茶芽叶位姿估计方法和系统,包括构建图像数据集,采用BAM注意力机制和softNMS方法优化Yolov8网络,得到分割模型,使用分割模型从图像背景中分割出茶芽叶。根据深度图像构建茶芽叶的点云数据,对点云数据进行预处理,得到预处理后点云。采用随机采样一致性方法确定预处理后点云的主方向,基于主方向构建茶芽叶采摘模型,根据茶芽叶采摘模型估计茶芽叶位姿。获取茶芽叶掩膜的深度信息,并结合点云数据处理来实现对茶芽叶进行高精度估计,为采摘机器人提供了精确的定位和导航能力,有助于提高茶叶采摘的自动化水平和效率。分割模型可以从复杂的背景中提取茶芽叶的语义特征,实现在非结构化的茶园环境中准确分割茶芽叶。

    一种茶芽叶采摘远近交替定位方法

    公开(公告)号:CN117765085B

    公开(公告)日:2024-06-07

    申请号:CN202410195060.7

    申请日:2024-02-22

    Abstract: 本发明提供了一种茶芽叶采摘远近交替定位方法,包括采用静态相机远距离拍摄茶芽叶,得到第一图像,其中,静态相机由三点静态标定法标定。将第一图像输入目标检测模型进行目标检测,得到茶芽叶的当前全局位置。基于茶芽叶的当前全局位置控制采摘机构靠近茶芽叶,直到目标距离小于或等于目标距离阈值。采用动态相机近距离拍摄茶芽叶,得到第二图像,其中,动态相机由动态标定法标定。将第二图像输入语义分割模型进行语义分割,得到茶芽叶的当前局部位置。语义分割可以分割出不同形态的茶芽叶,对茶芽叶进行精细化定位,得到茶芽叶的当前局部位置的准确度较高,根据当前局部位置可以控制采摘机构精准地采摘茶芽叶。

    一种茶芽叶采摘远近交替定位方法

    公开(公告)号:CN117765085A

    公开(公告)日:2024-03-26

    申请号:CN202410195060.7

    申请日:2024-02-22

    Abstract: 本发明提供了一种茶芽叶采摘远近交替定位方法,包括采用静态相机远距离拍摄茶芽叶,得到第一图像,其中,静态相机由三点静态标定法标定。将第一图像输入目标检测模型进行目标检测,得到茶芽叶的当前全局位置。基于茶芽叶的当前全局位置控制采摘机构靠近茶芽叶,直到目标距离小于或等于目标距离阈值。采用动态相机近距离拍摄茶芽叶,得到第二图像,其中,动态相机由动态标定法标定。将第二图像输入语义分割模型进行语义分割,得到茶芽叶的当前局部位置。语义分割可以分割出不同形态的茶芽叶,对茶芽叶进行精细化定位,得到茶芽叶的当前局部位置的准确度较高,根据当前局部位置可以控制采摘机构精准地采摘茶芽叶。

Patent Agency Ranking