-
公开(公告)号:CN118053010A
公开(公告)日:2024-05-17
申请号:CN202410445247.8
申请日:2024-04-15
Applicant: 湖南大学
IPC: G06V10/75 , G06F16/583 , G06F16/587 , G06N3/0455 , G06N3/0895 , G06V10/46 , G06V10/80 , G06V10/82
Abstract: 本发明公开了拒止环境下基于无人机图像和卫星地图的景象匹配方法,包括数据集制作,对SuperRetrieval模型进行训练;使用卫星地图裁剪后的图片经过训练好的SuperRetrieval模型后提取的全局描述符,与对应地理坐标和图像一起保存生成地图数据库,在无人机飞行过程中,将所拍摄到的无人机图像送入训练好的SuperRetrieval模型,得到该图像的全局描述符,使用该描述符在地图数据库中进行检索,获得当前视角的地理坐标与图像,进行完成景象导航和匹配。有效解决由于拒止环境下无人机无法获取足够的定位信息而导致粗定位失败的问题,以确保无人机能够在各种挑战性的环境中可靠地执行景象匹配任务。
-
公开(公告)号:CN115578460A
公开(公告)日:2023-01-06
申请号:CN202211407718.3
申请日:2022-11-10
Applicant: 湖南大学
Abstract: 本发明公开了基于多模态特征提取与稠密预测的机器人抓取方法与系统,获取场景彩色图像和深度图像,从深度图像中计算出场景三维点云以及不同尺度的自适应卷积感受野,根据场景三维点云得到表面法向量图像;构建多模态特征提取与稠密预测网络,并对场景彩色图像和表面法向量图像进行处理,得到每类物体预测的稠密三维姿态信息和三维位置信息,通过计算得到对应物体的三维姿态和三维位置,两者共同组成三维位姿,将三维位姿发送至机器人抓取系统,完成场景下对应物体的抓取任务。本发明方法融合多模态彩色与深度数据,特征提取中保留二维平面特性以及深度信息,结构简单、预测精度高,适合复杂场景的机器人抓取任务。
-
公开(公告)号:CN114637404A
公开(公告)日:2022-06-17
申请号:CN202210312681.X
申请日:2022-03-28
Applicant: 湖南大学
Abstract: 本发明公开了一种多模态分层融合的人机交互方法和系统,包括使用单目相机和麦克风对人体交互动作和语音进行视频采集,从得到的视频中提取得到视频数据和语音数据;将语音数据送入语音识别模块得到语音识别结果;将视频数据送入已训练好的骨骼提取网络得到人体骨骼序列图像和手部骨骼序列图像;将人体骨骼序列图像送入动作识别模块得到动作识别结果;将手部骨骼序列图像送入手势识别模块得到手势识别结果;将语音识别结果、动作识别结果和手势识别结果送入融合决策模块,得到综合控制指令,将综合控制指令发送至无人系统终端进行运动控制。系统硬件平台简易、交互效果好并且实时性高稳定性强。系统硬件平台简易、交互效果好并且实时性高稳定性强。
-
公开(公告)号:CN114529703A
公开(公告)日:2022-05-24
申请号:CN202210192372.3
申请日:2022-02-28
Applicant: 湖南大学
IPC: G06T19/20
Abstract: 本发明公开了一种基于熵增优化的大型复杂构件点云全局匹配方法,包括获取相邻视角场景的三维点云坐标,获得源点云X与目标点云Y,对其下采样分别得到采样点云x与采样点云y;基于采样点云x与采样点云y构建物理能量模型;基于熵增定律,根据物理能量模型计算对采样点云x的当前运动的扭矩T和拉力S,根据扭矩T和拉力S计算当前施加的旋转及平移(Rk,tk),获得变换后的点集;计算当前采样点云x在引力场中的势能并记录当前迭代次数;根据势能或迭代次数确定满足预设的结束条件时,累计所有变换后的点集,对源点云X进行旋转平移,实现源点云X与目标点云Y之间的配准。提高了配准精度与鲁棒性,降低方法的失败率。
-
-
公开(公告)号:CN103913464A
公开(公告)日:2014-07-09
申请号:CN201410104025.6
申请日:2014-03-20
Applicant: 湖南大学
IPC: G01N21/88
Abstract: 本发明公开了一种基于机器视觉检测的高速铁路轨道表面缺陷匹配方法,包括步骤1:获取铁轨全景图像f(x,y);步骤2:采用竖直投影法从铁轨全景图像中提取铁轨表面区域图像f1(x,y);步骤3:对铁轨表面区域图像进行中值滤波处理,获得去除噪声的铁轨表面区域图像f2(x,y);步骤4:对铁轨表面区域图像进行图像预处理;步骤5:提取图像f4(x,y)中的缺陷特征信息;步骤6:分别获得历史采集图像中的缺陷特征信息和实时采集图像中的缺陷特征信息;步骤7:将实时获取缺陷的特征信息依次与所有的已存储缺陷的特征信息进行匹配计算,得到匹配的缺陷特征信息。该发明方法实现了铁轨表面缺陷的高速、高精度匹配。
-
公开(公告)号:CN114565629B
公开(公告)日:2024-09-06
申请号:CN202210189810.0
申请日:2022-02-28
Applicant: 湖南大学
IPC: G06T7/13
Abstract: 本发明公开了一种基于多尺度邻域的大型蒙皮边缘缺陷检测方法。该方法通过构建一种多尺度空间搜索方法,更好的判断对应关键点的空间信息,并以此为依据优化搜索方向以及识别三维点云边缘点,极大的提升了三维图像边缘识别的运行效率,提高了识别成功率;同时,对提取的边界点有序化,并用遮罩特征值变化检测缺陷。该方法能够在更短的时间内更加精确地实现点云图像的边缘缺陷检测,具有极高的算法鲁棒性,能够应用于大尺度、结构复杂且效率要求高的精密检测领域。
-
公开(公告)号:CN117454672A
公开(公告)日:2024-01-26
申请号:CN202311776355.5
申请日:2023-12-22
IPC: G06F30/20 , G06T7/30 , G06T17/20 , G06F30/17 , G06F111/04
Abstract: 本发明公开了一种基于曲面装配约束的机器人作业余量计算方法,获得机身点云X与蒙皮点云Y;基于装配飞机机身点云X提取待装配边界序列点云E;将待装配边界序列点云E与待装配蒙皮点云Y进行最小余量匹配,搜索最近邻匹配对,建立最小余量方差约束的优化误差方程;根据机身点云X建立蒙皮微形变方程,在局部形变上限约束下,联合优化可微点云匹配方程;利用可微匹配方程的梯度方程和海瑟矩阵计算下一步优化方向的旋转矩阵及平移向量;计算优化后的误差,若小于预设误差阈值或者迭代次数大于预设迭代次数总数则输出结果,得到当前匹配后的边界,供给铣削作业机器人去除加工余量,得到最终装配曲面。改善了装配工序,计算高效,具有极高的可用性。
-
公开(公告)号:CN115578460B
公开(公告)日:2023-04-18
申请号:CN202211407718.3
申请日:2022-11-10
Applicant: 湖南大学
IPC: G06T7/73 , G06N3/045 , G06N3/0464 , G06N3/084 , G06V10/44 , G06V10/766 , G06V10/80 , G06V10/82 , B25J9/16 , B25J19/02
Abstract: 本发明公开了基于多模态特征提取与稠密预测的机器人抓取方法与系统,获取场景彩色图像和深度图像,从深度图像中计算出场景三维点云以及不同尺度的自适应卷积感受野,根据场景三维点云得到表面法向量图像;构建多模态特征提取与稠密预测网络,并对场景彩色图像和表面法向量图像进行处理,得到每类物体预测的稠密三维姿态信息和三维位置信息,通过计算得到对应物体的三维姿态和三维位置,两者共同组成三维位姿,将三维位姿发送至机器人抓取系统,完成场景下对应物体的抓取任务。本发明方法融合多模态彩色与深度数据,特征提取中保留二维平面特性以及深度信息,结构简单、预测精度高,适合复杂场景的机器人抓取任务。
-
公开(公告)号:CN113065546B
公开(公告)日:2022-08-12
申请号:CN202110211748.6
申请日:2021-02-25
Applicant: 湖南大学
Abstract: 本发明公开了一种基于注意力机制和霍夫投票的目标位姿估计方法及系统,该方法包括如下步骤:获取彩色图像和深度图像;对彩色图像进行分割与裁剪,得到各目标物体的彩色和深度图像块;采用两种策略估计目标物体6维位姿,针对3维旋转矩阵,基于双向空间注意力的特征提取网络,利用目标表面二维特征约束进行鲁棒特征提取,再利用多层感知网络回归出目标3维旋转矩阵;针对3维平移向量,重建目标物体点云并归一化点云数据,采用霍夫投票网络逐点估计点云3维平移方向向量,最后建立平移中心直线集,求解空间最近点得到目标3维平移向量。本发明方法分别估计旋转矩阵和平移向量,执行速度快、精度高。
-
-
-
-
-
-
-
-
-