一种多模态分层融合的人机交互方法和系统

    公开(公告)号:CN114637404A

    公开(公告)日:2022-06-17

    申请号:CN202210312681.X

    申请日:2022-03-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种多模态分层融合的人机交互方法和系统,包括使用单目相机和麦克风对人体交互动作和语音进行视频采集,从得到的视频中提取得到视频数据和语音数据;将语音数据送入语音识别模块得到语音识别结果;将视频数据送入已训练好的骨骼提取网络得到人体骨骼序列图像和手部骨骼序列图像;将人体骨骼序列图像送入动作识别模块得到动作识别结果;将手部骨骼序列图像送入手势识别模块得到手势识别结果;将语音识别结果、动作识别结果和手势识别结果送入融合决策模块,得到综合控制指令,将综合控制指令发送至无人系统终端进行运动控制。系统硬件平台简易、交互效果好并且实时性高稳定性强。系统硬件平台简易、交互效果好并且实时性高稳定性强。

    一种基于熵增优化的大型复杂构件点云全局匹配方法

    公开(公告)号:CN114529703A

    公开(公告)日:2022-05-24

    申请号:CN202210192372.3

    申请日:2022-02-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于熵增优化的大型复杂构件点云全局匹配方法,包括获取相邻视角场景的三维点云坐标,获得源点云X与目标点云Y,对其下采样分别得到采样点云x与采样点云y;基于采样点云x与采样点云y构建物理能量模型;基于熵增定律,根据物理能量模型计算对采样点云x的当前运动的扭矩T和拉力S,根据扭矩T和拉力S计算当前施加的旋转及平移(Rk,tk),获得变换后的点集;计算当前采样点云x在引力场中的势能并记录当前迭代次数;根据势能或迭代次数确定满足预设的结束条件时,累计所有变换后的点集,对源点云X进行旋转平移,实现源点云X与目标点云Y之间的配准。提高了配准精度与鲁棒性,降低方法的失败率。

    一种基于机器视觉检测的高速铁路轨道表面缺陷匹配方法

    公开(公告)号:CN103913464A

    公开(公告)日:2014-07-09

    申请号:CN201410104025.6

    申请日:2014-03-20

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于机器视觉检测的高速铁路轨道表面缺陷匹配方法,包括步骤1:获取铁轨全景图像f(x,y);步骤2:采用竖直投影法从铁轨全景图像中提取铁轨表面区域图像f1(x,y);步骤3:对铁轨表面区域图像进行中值滤波处理,获得去除噪声的铁轨表面区域图像f2(x,y);步骤4:对铁轨表面区域图像进行图像预处理;步骤5:提取图像f4(x,y)中的缺陷特征信息;步骤6:分别获得历史采集图像中的缺陷特征信息和实时采集图像中的缺陷特征信息;步骤7:将实时获取缺陷的特征信息依次与所有的已存储缺陷的特征信息进行匹配计算,得到匹配的缺陷特征信息。该发明方法实现了铁轨表面缺陷的高速、高精度匹配。

    一种基于多尺度邻域的大型蒙皮边缘缺陷检测方法

    公开(公告)号:CN114565629B

    公开(公告)日:2024-09-06

    申请号:CN202210189810.0

    申请日:2022-02-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于多尺度邻域的大型蒙皮边缘缺陷检测方法。该方法通过构建一种多尺度空间搜索方法,更好的判断对应关键点的空间信息,并以此为依据优化搜索方向以及识别三维点云边缘点,极大的提升了三维图像边缘识别的运行效率,提高了识别成功率;同时,对提取的边界点有序化,并用遮罩特征值变化检测缺陷。该方法能够在更短的时间内更加精确地实现点云图像的边缘缺陷检测,具有极高的算法鲁棒性,能够应用于大尺度、结构复杂且效率要求高的精密检测领域。

    一种基于曲面装配约束的机器人作业余量计算方法

    公开(公告)号:CN117454672A

    公开(公告)日:2024-01-26

    申请号:CN202311776355.5

    申请日:2023-12-22

    Abstract: 本发明公开了一种基于曲面装配约束的机器人作业余量计算方法,获得机身点云X与蒙皮点云Y;基于装配飞机机身点云X提取待装配边界序列点云E;将待装配边界序列点云E与待装配蒙皮点云Y进行最小余量匹配,搜索最近邻匹配对,建立最小余量方差约束的优化误差方程;根据机身点云X建立蒙皮微形变方程,在局部形变上限约束下,联合优化可微点云匹配方程;利用可微匹配方程的梯度方程和海瑟矩阵计算下一步优化方向的旋转矩阵及平移向量;计算优化后的误差,若小于预设误差阈值或者迭代次数大于预设迭代次数总数则输出结果,得到当前匹配后的边界,供给铣削作业机器人去除加工余量,得到最终装配曲面。改善了装配工序,计算高效,具有极高的可用性。

    一种基于注意力机制和霍夫投票的目标位姿估计方法及系统

    公开(公告)号:CN113065546B

    公开(公告)日:2022-08-12

    申请号:CN202110211748.6

    申请日:2021-02-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于注意力机制和霍夫投票的目标位姿估计方法及系统,该方法包括如下步骤:获取彩色图像和深度图像;对彩色图像进行分割与裁剪,得到各目标物体的彩色和深度图像块;采用两种策略估计目标物体6维位姿,针对3维旋转矩阵,基于双向空间注意力的特征提取网络,利用目标表面二维特征约束进行鲁棒特征提取,再利用多层感知网络回归出目标3维旋转矩阵;针对3维平移向量,重建目标物体点云并归一化点云数据,采用霍夫投票网络逐点估计点云3维平移方向向量,最后建立平移中心直线集,求解空间最近点得到目标3维平移向量。本发明方法分别估计旋转矩阵和平移向量,执行速度快、精度高。

Patent Agency Ranking