-
公开(公告)号:CN118799369B
公开(公告)日:2024-11-15
申请号:CN202411288067.X
申请日:2024-09-14
Applicant: 湖南大学
IPC: G06T7/33 , G06N3/0464 , G06T5/50
Abstract: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。
-
公开(公告)号:CN118134858A
公开(公告)日:2024-06-04
申请号:CN202410210528.5
申请日:2024-02-26
Applicant: 湖南大学 , 三一汽车制造有限公司 , 江西省通讯终端产业技术研究院有限公司
Abstract: 本发明公开了一种基于随机采样与模板匹配的工件平面检测方法及系统,该方法包括:采集待检测工件的点云图像数据;基于随机采样对点云图像数据进行平面拟合,分割出面积最大的平面并保存其平面点云;将平面点云的最长宽度、最长高度作为二值图像的宽度、高度,再建立二值图像的像素坐标系完成平面点云与图像像素的转换;基于自适应窗口扫描二值图像,将与窗口匹配的平面窗口保存,最后计算平面窗口的中心点云位置实现平面位置定位。本发明通过上述技术方案克服现有平面检查技术中存在检查效率低、实时性差、接触式检查的技术问题,有效提升检测效率、实时性,且本发明该方法还能解决对不同形状、姿态与距离的工件泛化能力差的问题。
-
公开(公告)号:CN114714365B
公开(公告)日:2022-08-23
申请号:CN202210641069.7
申请日:2022-06-08
Applicant: 湖南大学
Abstract: 本发明具体公开了一种基于云平台的无序工件抓取方法及其系统,所述方法包括:搭建硬件系统和云平台;图像采集装置标定获取内参;手眼标定与拾取装置标定;利用预设训练好的实例分割模型获取目标工件的点云信息;将目标工件的点云信息与预设实例模板的点云信息进行ICP配准;算机器人基座坐标系与目标工件坐标系之间的转换矩阵,进而得到目标工件的位姿信息;基于目标工件的位姿信息,通过服务器控制机器人系统对目标工件进行抓取,进而完成目标工件的上料工作。本发明能够有效解决工业场景复杂、存在堆叠现象且采集图像边缘与纹理信息不明显所造成位姿获取难度高的问题。
-
公开(公告)号:CN114714365A
公开(公告)日:2022-07-08
申请号:CN202210641069.7
申请日:2022-06-08
Applicant: 湖南大学
Abstract: 本发明具体公开了一种基于云平台的无序工件抓取方法及其系统,所述方法包括:搭建硬件系统和云平台;图像采集装置标定获取内参;手眼标定与拾取装置标定;利用预设训练好的实例分割模型获取目标工件的点云信息;将目标工件的点云信息与预设实例模板的点云信息进行ICP配准;算机器人基座坐标系与目标工件坐标系之间的转换矩阵,进而得到目标工件的位姿信息;基于目标工件的位姿信息,通过服务器控制机器人系统对目标工件进行抓取,进而完成目标工件的上料工作。本发明能够有效解决工业场景复杂、存在堆叠现象且采集图像边缘与纹理信息不明显所造成位姿获取难度高的问题。
-
公开(公告)号:CN119625039B
公开(公告)日:2025-05-02
申请号:CN202510170563.3
申请日:2025-02-17
Applicant: 湖南大学
IPC: G06T7/33 , G06N3/0464
Abstract: 本发明公开了一种基于特征解耦的多模态图像配准方法、系统和计算机设备,包括以下步骤:1、获取若干多模态图像并处理,得到具有多样性的多模态图像配准数据集;2、搭建基于特征解耦的多模态图像配准神经网络模型;3、设计损失函数监督多模态图像配准神经网络模型的训练,优化配准过程;4、利用训练好的多模态图像配准神经网络模型对待配准多模态图像进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。本发明所提出的基于特征解耦的多模态图像配准方法,能够有效提高多模态图像配准的性能,尤其是在面对不同模态之间较大差异的情况下,表现出良好的鲁棒性。
-
公开(公告)号:CN118334112A
公开(公告)日:2024-07-12
申请号:CN202410759620.7
申请日:2024-06-13
Applicant: 湖南大学
Abstract: 本发明公开了一种同型号多目标工件的抓取位姿估计方法及抓取系统,搭建抓取位姿预测网络,包括特征提取增强模块、场景分割模块和解码预测模块,获取目标工件的模型点云和场景点云,特征提取增强模块对模型点云与场景点云分别进行特征提取和增强,得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征,将第一模型点云特征和第一场景点云特征输入场景分割模块,从第一场景点云特征中提取出同型号多个目标工件对应的点云特征,将第二模型点云特征、第二场景点云特征和同型号多个目标工件对应的点云特征输入解码预测模块处理并使用非极大值抑制,得到每个目标工件的估计抓取位姿。该方法能够有效识别场景中的待抓取工件。
-
公开(公告)号:CN115578460A
公开(公告)日:2023-01-06
申请号:CN202211407718.3
申请日:2022-11-10
Applicant: 湖南大学
Abstract: 本发明公开了基于多模态特征提取与稠密预测的机器人抓取方法与系统,获取场景彩色图像和深度图像,从深度图像中计算出场景三维点云以及不同尺度的自适应卷积感受野,根据场景三维点云得到表面法向量图像;构建多模态特征提取与稠密预测网络,并对场景彩色图像和表面法向量图像进行处理,得到每类物体预测的稠密三维姿态信息和三维位置信息,通过计算得到对应物体的三维姿态和三维位置,两者共同组成三维位姿,将三维位姿发送至机器人抓取系统,完成场景下对应物体的抓取任务。本发明方法融合多模态彩色与深度数据,特征提取中保留二维平面特性以及深度信息,结构简单、预测精度高,适合复杂场景的机器人抓取任务。
-
公开(公告)号:CN119625039A
公开(公告)日:2025-03-14
申请号:CN202510170563.3
申请日:2025-02-17
Applicant: 湖南大学
IPC: G06T7/33 , G06N3/0464
Abstract: 本发明公开了一种基于特征解耦的多模态图像配准方法、系统和计算机设备,包括以下步骤:1、获取若干多模态图像并处理,得到具有多样性的多模态图像配准数据集;2、搭建基于特征解耦的多模态图像配准神经网络模型;3、设计损失函数监督多模态图像配准神经网络模型的训练,优化配准过程;4、利用训练好的多模态图像配准神经网络模型对待配准多模态图像进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。本发明所提出的基于特征解耦的多模态图像配准方法,能够有效提高多模态图像配准的性能,尤其是在面对不同模态之间较大差异的情况下,表现出良好的鲁棒性。
-
公开(公告)号:CN118799369A
公开(公告)日:2024-10-18
申请号:CN202411288067.X
申请日:2024-09-14
Applicant: 湖南大学
IPC: G06T7/33 , G06N3/0464 , G06T5/50
Abstract: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。
-
公开(公告)号:CN116912302B
公开(公告)日:2023-12-01
申请号:CN202311170392.1
申请日:2023-09-12
Applicant: 湖南大学
Abstract: 本发明公开了一种基于深度图像配准网络的高精度成像方法及系统,搭建高精度成像系统,包括三轴运动平台、成像模块和载具,载具和成像模块分别固设于三轴运动平台的Y轴和Z轴上,目标产品通过载具固定;通过调整X、Y和Z轴确定成像模块的拍摄路径并对目标产品进行局部拍摄,得到若干张局部图像;采用深度图像配准网络对若干张局部图像中所有两两相邻的图像进行处理,得到每组相邻图像的变换矩阵;将若干张局部图像通过变换矩阵进行转换,并将转换后的局部图像依次填入到预先设计的空白大图中,并将空白大图中相邻图像之间进行融合,
-
-
-
-
-
-
-
-
-