-
公开(公告)号:CN119723062B
公开(公告)日:2025-05-09
申请号:CN202510208849.6
申请日:2025-02-25
Applicant: 湖南大学
IPC: G06V10/25 , G06N3/0464 , G06V10/44 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于前景感知增强的多模态目标检测系统及检测方法,充分结合了二维图像和三维点云的优势,并解决了前景点关注度低的问题。本发明通过前背景掩码机制以及焦点卷积模块,在二维和三维特征中分别强化前景信息,并通过通道和空间注意力模块进一步优化特征表达。最终,经过通道级联的增强融合特征经过区域建议网络和置信度前馈网络,筛选出置信度较高的检测结果。根据其目标类别确定不同的初始权重,计算预测边界框和真实边界框内前背景点的数量差异和位姿差异来进行损失聚合,并进行反向传播,以进一步优化预测边界框的位置精度,前景感知的聚合损失函数在训练过程中提供有效监督,进一步提升了模型的鲁棒性和准确性。
-
公开(公告)号:CN119910662A
公开(公告)日:2025-05-02
申请号:CN202510397569.4
申请日:2025-04-01
Applicant: 湖南大学
IPC: B25J9/16 , B25J11/00 , G06V20/56 , G06N3/082 , G06N3/084 , G06N3/096 , G06V10/26 , G06V10/40 , G06V10/774 , G06V10/82
Abstract: 本发明公开了一种电力巡检机器人检测及部署方法、系统和计算机设备,获取待检测道路场景的高低线束三维点云数据,分别输入到教师模型和学生模型中,提取得到BEV特征,利用焦点模块对师生模型的三维特征进行蒸馏处理,创建前景和背景掩码,并计算前景特征的损失;引入焦点关系蒸馏模块,提取前景位置九个角点的特征并进行高斯相似度的计算,提升模型在不同类别前景特征学习中的均衡性;应用全局蒸馏模块,提升整体性能,模型训练完成后进行模型剪枝,优化模型性能;将剪枝优化后的模型转换为ONNX格式,并在TensorRT上进行部署和加速,进一步提升推理效率。有效解决了低线束雷达检测精度低和模型实际部署困难的问题。
-
公开(公告)号:CN116758497A
公开(公告)日:2023-09-15
申请号:CN202310279707.X
申请日:2023-03-21
Applicant: 湖南大学
Abstract: 本发明提供了一种基于无人系统的激光点云三维目标检测方法包括如下步骤:步骤S1:获取基于无人系统的激光点云数据集,对所述激光点云数据集进行预处理,将预处理后的激光点云数据集按照预设比例1:1分为训练集和测试集;步骤S2:构建基于无人系统的激光点云三维目标检测模型;步骤S3:将所述训练集输入至所述激光点云三维目标检测模型,得到训练好的激光点云三维目标检测模型;步骤S4:将所述测试集输入至所述训练好的激光点云三维目标检测模型,得到三维目标检测结果。本发明所提出的动态边缘卷积模块与自适应特征融合网络具有更加丰富与精细的特征表示,提高激光点云三维目标检测的精度。
-
公开(公告)号:CN119850623A
公开(公告)日:2025-04-18
申请号:CN202510330876.0
申请日:2025-03-20
Applicant: 湖南大学
Abstract: 本申请涉及航空检测技术领域,公开一种飞机壁板缺陷检测方法、模型训练方法及相关设备。该训练方法包括:获取拍摄飞机壁板得到的样本图像;将样本图像输入预训练的教师模型和待训练的学生模型,得到第一特征图集、第二特征图集和目标预测结果;依据第一特征图集和第二特征图集两者的特征图的局部偏差和全局偏差,得到知识蒸馏损失信息;依据第一特征图集和第二特征图集两者的特征图,得到对抗损失信息;依据目标预测结果,得到预测损失信息;依据知识蒸馏损失信息、对抗损失信息和预测损失信息,调整学生模型的网络参数。本申请实施例可以在有限的硬件条件下提升飞机壁板缺陷检测的精度。
-
公开(公告)号:CN119723062A
公开(公告)日:2025-03-28
申请号:CN202510208849.6
申请日:2025-02-25
Applicant: 湖南大学
IPC: G06V10/25 , G06N3/0464 , G06V10/44 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于前景感知增强的多模态目标检测系统及检测方法,充分结合了二维图像和三维点云的优势,并解决了前景点关注度低的问题。本发明通过前背景掩码机制以及焦点卷积模块,在二维和三维特征中分别强化前景信息,并通过通道和空间注意力模块进一步优化特征表达。最终,经过通道级联的增强融合特征经过区域建议网络和置信度前馈网络,筛选出置信度较高的检测结果。根据其目标类别确定不同的初始权重,计算预测边界框和真实边界框内前背景点的数量差异和位姿差异来进行损失聚合,并进行反向传播,以进一步优化预测边界框的位置精度,前景感知的聚合损失函数在训练过程中提供有效监督,进一步提升了模型的鲁棒性和准确性。
-
公开(公告)号:CN119291714B
公开(公告)日:2025-03-21
申请号:CN202411803687.2
申请日:2024-12-10
Applicant: 湖南大学
IPC: G01S17/89 , G06V10/25 , G06N3/084 , G06V10/74 , G06V10/764 , G06V10/766 , G06V10/774 , G06V10/82 , G06V20/64
Abstract: 本发明公开了一种大型装配场景的多传感器在线三维检测方法及装置,通过多个非重复式扫描激光雷达与嵌入式平台相连接,从不同的角度进行扫描,并对不同角度的点云数据进行预处理以实现多传感器非重复式扫描点云数据的坐标系统一与拼接融合,采集整个大型装配场景的点云数据并制作数据集。构建大型装配场景检测模型用于处理大型装配场景下的目标检测任务,通过训练、测试以及离线可视化验证,获得训练好的最佳模型。基于训练好的模型对实时的大型装配场景点云数据进行快速推理,实现大型装配场景中移动机器人等的高精度实时化的在线检测。解放了人力资源,提升了装配效率。
-
公开(公告)号:CN119169606A
公开(公告)日:2024-12-20
申请号:CN202411241486.8
申请日:2024-09-05
Applicant: 湖南大学
IPC: G06V20/64 , G06V10/80 , G06V10/25 , G06V10/44 , G06N3/0464 , G06N3/0495 , G06N3/08
Abstract: 本发明属于大范围制造场景机器人协同三维感知领域,具体涉及一种基于视觉状态空间模型的多机器人协同三维目标检测方法,包括:搭建多机器人激光雷达三维感知平台,采集飞机制造与装配大范围场景中的三维点云数据;对所采集的三维点云数据进行数据标注,制作三维点云检测数据集,并将三维点云检测数据集进行划分;构建基于视觉状态空间模型的点云三维目标检测模型;将训练集代入到点云三维目标检测模型中进行迭代训练,并采用验证集进行模型验证,得到最优点云三维目标检测模型;将测试集代入到最优点云三维目标检测模型中进行预测,得到三维点云检测结果,实现多机器人在大范围场景中的协同三维目标检测。
-
公开(公告)号:CN119919594A
公开(公告)日:2025-05-02
申请号:CN202510398646.8
申请日:2025-04-01
Applicant: 湖南大学
Abstract: 本发明公开了一种大范围制造场景立体重建方法及系统,首先搭建场景重建模型并训练,获取大范围制造场景下的待处理图像对并输入训练后的场景重建模型,场景重建模型的一元特征提取与增强模块接收输入图像对并进行特征提取与增强处理,将增强后的一元特征输入成本体积构建模块处理,输出联合体积,3D聚合模块接收联合体积并逐层优化,输出优化后的成本体积,视差预测模块获取优化后的成本体积并处理,输出待处理图像对对应的预测视差图,将预测视差图转化为真实世界下的三维空间数据,由此完成制造场景立体重建。该方法及系统不仅适用于具有复杂结构的大规模制造场景,还能够以高精度还原场景的空间细节。
-
公开(公告)号:CN118172632A
公开(公告)日:2024-06-11
申请号:CN202410292746.8
申请日:2024-03-14
Applicant: 湖南大学
IPC: G06V10/80 , G06V10/82 , G06V10/774 , G06V20/17
Abstract: 本申请涉及一种基于多模态融合的无人系统三维目标检测方法及装置,所述方法包括以下步骤:获取待检测的道路场景的二维图像和三维点云数据,并输入多模态融合检测模型;多模态融合检测模型包括时序动态卷积融合模块,其利用三维位置嵌入编码器,根据前一帧的三维世界空间坐标与前一帧的二维图像特征生成前一帧的三维位置感知特征,前一帧的三维位置感知特征经位姿变换后作为当前帧的补充位置感知特征;根据当前帧的补充位置感知特征与当前帧的三维点云特征生成第一融合帧三维点云特征;基于第一融合帧三维点云特征和当前帧的二维图像特征得到初步融合特征,基于初步融合特征输出检测结果。该方法可解决远处目标识别困难的问题。
-
公开(公告)号:CN119169606B
公开(公告)日:2025-04-25
申请号:CN202411241486.8
申请日:2024-09-05
Applicant: 湖南大学
IPC: G06V20/64 , G06V10/80 , G06V10/25 , G06V10/44 , G06N3/0464 , G06N3/0495 , G06N3/08
Abstract: 本发明属于大范围制造场景机器人协同三维感知领域,具体涉及一种基于视觉状态空间模型的多机器人协同三维目标检测方法,包括:搭建多机器人激光雷达三维感知平台,采集飞机制造与装配大范围场景中的三维点云数据;对所采集的三维点云数据进行数据标注,制作三维点云检测数据集,并将三维点云检测数据集进行划分;构建基于视觉状态空间模型的点云三维目标检测模型;将训练集代入到点云三维目标检测模型中进行迭代训练,并采用验证集进行模型验证,得到最优点云三维目标检测模型;将测试集代入到最优点云三维目标检测模型中进行预测,得到三维点云检测结果,实现多机器人在大范围场景中的协同三维目标检测。
-
-
-
-
-
-
-
-
-