-
公开(公告)号:CN119359939B
公开(公告)日:2025-03-21
申请号:CN202411943433.0
申请日:2024-12-27
Applicant: 湖南大学
IPC: G06T17/00 , G06T7/80 , G06T7/13 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种多视角特征引导的大范围场景三维建模方法及系统,获取多个视角相机的图像,并输入至多视角立体视觉三维重建神经网络模型中,模型包括多阶段上下文特征提取模块、多视角图像匹配代价构建模块、多视角匹配代价特征聚合网络和视差回归预测模块,通过多视角图像交叉特征迁移互相关匹配代价构建方法构建多视角匹配代价,通过可微分的多视角联合特征引导的各项异性扩散代价聚合方法聚合多视角匹配代价特征,结合损失函数对神经网络模型进行训练,提升多视角三维场景重建性能和深度估计精度。通过训练构建好的多视角立体视觉三维重建神经网络模型,对多视角视频图像进行推理,并实现大范围制造场景动态三维重建。
-
公开(公告)号:CN119229031B
公开(公告)日:2025-03-07
申请号:CN202411747851.2
申请日:2024-12-02
Applicant: 湖南大学
Abstract: 本发明公开了一种基于三维高斯泼溅的大型装配场景的动态实时渲染方法,通过多个传感器相结合,构建一个用于动态场景实时渲染的三维高斯泼溅模型,该方法可以渲染装配场景的任意视角。三维高斯泼溅模型包括传感器数据对齐、三维高斯泼溅模型的初始化、三维高斯泼溅模型的预测与更新,结合三维高斯泼溅模型,设计了场景空间点对齐与预测器,解决多传感器数据信息冗余、动态实时渲染困难的难题,这个方法提高了装配的安全性与可靠性,能及时发现和处理装配过程中的问题,有助于推动工业智能制造快速且高质量的发展,从而推动工业制造智能化的转型。
-
公开(公告)号:CN119359940A
公开(公告)日:2025-01-24
申请号:CN202411943944.2
申请日:2024-12-27
Applicant: 湖南大学
IPC: G06T17/00 , G06V10/24 , G06V10/44 , G06V10/74 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明涉及机器人视觉感知技术领域,具体为一种基于交叉通道注意力机制特征融合的三维场景重建方法,包括:S1、收集多张畸变校正与立体校正后待立体视觉三维重建的双目立体视觉图像,并构建训练集;S2、构建三维场景重建网络;S3、选取一张双目立体视觉图像输入到三维场景重建网络中,得到每个不同阶段的预测视差;S4、构建损失函数,计算每个不同阶段的预测视差与真实视差之间的损失,并循环S3至S4,直至损失函数收敛;然后对三维场景重建网络的权重进行更新;S5、对训练后的三维场景重建网络进行测试,得到双目立体视觉三维重建场景的三维深度信息。本发明大幅度提高了上下文特征融合效率,提升了双目立体视觉视差估计性能。
-
公开(公告)号:CN119357647A
公开(公告)日:2025-01-24
申请号:CN202411945629.3
申请日:2024-12-27
Applicant: 湖南大学
IPC: G06F18/213 , G06F18/214 , G06F18/25 , G06F18/22 , G06N3/0442 , G06N3/08
Abstract: 本发明公开了一种用于机器人作业的大模型特征融合哈希自注意力方法,获取目标操作环境下多种复杂操作任务的示教数据;采集操作场景中的多模态信息;构建基于大模型的视觉‑文字精炼及对齐模块,将多模态信息中的声音信号和视觉信号输入,得到最终提取的视觉特征和最终预测的文字特征;采用特征提取器将最终得到的视觉特征和文字特征转换为特征相同的维度,利用设计的哈希交互机器人技能学习模块进行特征交互并进行特征提取,预测相应的机器人的动作;基于示教数据和预设的损失函数对哈希交互机器人技能学习模块进行训练,用于根据实时的视觉和文字输入预测机器人的动作。提高机器人在复杂处理操作环境下的自主学习、技能泛化和精准控制能力。
-
公开(公告)号:CN118796316B
公开(公告)日:2024-12-20
申请号:CN202411266450.5
申请日:2024-09-11
Applicant: 湖南大学
IPC: G06F9/448 , G06F40/186
Abstract: 本发明公开了一种智能控制器的多传感器接入与数据管理微架构系统,通用处理模块用于支持系统初始化、单例模式和多类型数据处理;配置文件解析模块用于接收用户配置指令对使用的传感器进行针对性配置,将配置信息按照不同的功能或模块进行组织;应用程序接口模块用于通过API函数对传感器应用接口进行抽象,实现传感器应用的开发;抽象数据封装模块通过一种抽象数据封装方法实现对同类型传感器的数据格式的统一描述和封装;工厂自动注册模块使用抽象类定义工厂的基本结构,通过模板方法来封装工厂的创建过程。简化了传感器应用的开发过程,能够更轻松地集成、操作和管理多样性的传感器设备,保持了系统的高度灵活性和可适应性。
-
公开(公告)号:CN118789562B
公开(公告)日:2024-12-13
申请号:CN202411282251.3
申请日:2024-09-13
Applicant: 湖南大学
Abstract: 本发明公开了基于加权势函数和DMP的双臂机器人避障方法及系统,获取双臂机器人的示教轨迹,建立机械臂的DMP模型,将示教轨迹输入DMP模型进行学习并参数化DMP模型,构建加权组合等势函数并基于此设置动态势函数,将动态势函数的负梯度作为第一耦合项加入DMP模型,得到可避障DMP模型,以右机械臂的位置和速度为参考构建第二耦合项,将第二耦合项添加到左机械臂的可避障DMP模型,得到左机械臂的可自主避障DMP模型,右机械臂的可避障DMP模型和左机械臂的可自主避障DMP模型共同组成双臂机器人的自主避障系统,该方法及系统得到的运动轨迹能够避免每个机械臂与周围障碍物碰撞以及两个机械臂相互之间碰撞。
-
公开(公告)号:CN118848998A
公开(公告)日:2024-10-29
申请号:CN202411347391.4
申请日:2024-09-26
Applicant: 湖南大学
Abstract: 本发明公开了一种基于贝叶斯交互基元的双臂机器人技能学习方法,搭建双臂机器人技能学习平台,以控制双臂机器人和采集数据;通过遥操作对双臂机器人进行示教,采集专家示教数据;建立贝叶斯交互基元学习框架,使用基函数拟合示教轨迹;通过多传感器获取当前状态的多模态数据,采用序列对齐和动态捕捉的方法进行时空推理,得到当前状态的相位,贝叶斯交互基元根据当前相位输出双臂机器人未来动作序列的后验分布;每个时间步都根据当前和历史输出的动作序列的相应动作进行加权平均后执行,直到完成相位估计任务。技能学习效率高、示教方式简单易行、技能学习效果优异,有效解决了双臂机器人技能发育慢、双臂操作协同性差、操作流畅性低的问题。
-
公开(公告)号:CN118796316A
公开(公告)日:2024-10-18
申请号:CN202411266450.5
申请日:2024-09-11
Applicant: 湖南大学
IPC: G06F9/448 , G06F40/186
Abstract: 本发明公开了一种智能控制器的多传感器接入与数据管理微架构系统,通用处理模块用于支持系统初始化、单例模式和多类型数据处理;配置文件解析模块用于接收用户配置指令对使用的传感器进行针对性配置,将配置信息按照不同的功能或模块进行组织;应用程序接口模块用于通过API函数对传感器应用接口进行抽象,实现传感器应用的开发;抽象数据封装模块通过一种抽象数据封装方法实现对同类型传感器的数据格式的统一描述和封装;工厂自动注册模块使用抽象类累定义工厂的基本结构,通过模板方法来封装工厂的创建过程。简化了传感器应用的开发过程,能够更轻松地集成、操作和管理多样性的传感器设备,保持了系统的高度灵活性和可适应性。
-
公开(公告)号:CN114565629B
公开(公告)日:2024-09-06
申请号:CN202210189810.0
申请日:2022-02-28
Applicant: 湖南大学
IPC: G06T7/13
Abstract: 本发明公开了一种基于多尺度邻域的大型蒙皮边缘缺陷检测方法。该方法通过构建一种多尺度空间搜索方法,更好的判断对应关键点的空间信息,并以此为依据优化搜索方向以及识别三维点云边缘点,极大的提升了三维图像边缘识别的运行效率,提高了识别成功率;同时,对提取的边界点有序化,并用遮罩特征值变化检测缺陷。该方法能够在更短的时间内更加精确地实现点云图像的边缘缺陷检测,具有极高的算法鲁棒性,能够应用于大尺度、结构复杂且效率要求高的精密检测领域。
-
公开(公告)号:CN117961976B
公开(公告)日:2024-06-21
申请号:CN202410375666.9
申请日:2024-03-29
Abstract: 本申请的实施例提供了基于生成扩散迁移的装配机器人在线检测方法、装置、设备和计算机可读存储介质。所述方法包括获取装配机器人的信号数据;将所述信号数据输入到已训练的故障识别模型中,得到当前装配作业的故障类型,其中,所述故障识别模型可通过如下方式进行训练:获取样本数据集合;所述样本数据集合包括带有标注信息的样本数据;将所述样本数据拆分为两个子域;基于有监督的训练方式和无监督的训练方式,利用神经网络模型对两个子域中的样本数据进行学习,得到目标损失函数;基于所述目标损失函数完成对所述故障识别模型的训练。以此方式,能够实现装配机器人的在线实时故障诊断,大幅度提高了生产效率。
-
-
-
-
-
-
-
-
-