-
公开(公告)号:CN114118247B
公开(公告)日:2025-05-02
申请号:CN202111384455.4
申请日:2021-11-18
Applicant: 同济大学
Abstract: 本发明涉及一种基于多传感器融合的无锚框3D目标检测方法,包括:获取彩色RGB图像和激光点云;对彩色RGB图像进行语义分割,得到各像素的类别信息;利用类别信息对激光点云的特征进行增强,得到增强激光点云;对增强激光点云分别进行点云几何特征编码、点云可见性特征编码,得到几何特征和可见性特征;将几何特征与可见性特征进行堆叠,得到堆叠特征;将堆叠特征输入多层特征提取网络,提取不同层级的特征信息,再将各层级的特征信息进行堆叠,得到融合特征;将融合特征输出给无锚框目标检测器,以得到3D目标检测结果。与现有技术相比,本发明通过多模态数据的融合,利用传感器之间的优势互补来增强3D目标检测性能,从而实现准确快速检测的目的。
-
公开(公告)号:CN113830078B
公开(公告)日:2023-08-04
申请号:CN202111214905.5
申请日:2021-10-19
Applicant: 同济大学
Abstract: 本发明涉及一种基于停车位角点检测的自动泊车方法及系统,方法包括以下步骤:1)将停车位鸟瞰图输入特征检测器,获得角点、入口线以及边线的热力图;2)对角点热力图进行过滤,获得角点列表;3)对角点列表中的角点两两组合,计算每个角点组合中两个角点之间的距离,构成距离表;4)剔除距离表中不满足国标停车位尺寸要求的角点组合;5)剔除距离表中不满足椭圆限制条件的角点组合;6)根据入口线以及边线的热力图获取入口线和边线的朝向,剔除距离表中不满足与入口线以及边线的相对位置关系的角点组合;7)根据距离表中的角点组合确定停车位区域,根据停车位位置完成自动泊车。与现有技术相比,本发明具有计算复杂度低、部署难度低等优点。
-
公开(公告)号:CN114120270A
公开(公告)日:2022-03-01
申请号:CN202111314134.7
申请日:2021-11-08
Applicant: 同济大学
Abstract: 本发明涉及一种基于注意力和采样学习的点云目标检测方法,包括以下步骤:1)采集待检测目标的点云数据;2)根据点云数据,通过点云提取网络提取点云特征;3)根据点云特征,通过k最近值下采样法筛选出目标索引点特征;4)根据目标索引点特征,通过自适应点云特征聚合网络,将点云特征聚合为候选目标特征;5)根据候选目标特征,通过多层感知机生成待检测目标的类别、位置和尺寸信息。与现有技术相比,本发明具有可靠性强、准确率高等优点。
-
公开(公告)号:CN114118254A
公开(公告)日:2022-03-01
申请号:CN202111391868.5
申请日:2021-11-19
Applicant: 同济大学
Abstract: 本发明涉及一种基于多任务融合的三维目标检测系统及其方法,该检测系统包括RGB相机、激光雷达和融合算法感知模块,该检测方法包括:通过RGB相机采集车辆前方交通场景图像,通过激光雷达采集车辆周围三维点云数据;车辆前方交通场景图像传输给图像处理单元,以对车辆前方交通场景图像进行语义分割,输出对应语义信息给点云处理单元;车辆周围三维点云数据传输给点云处理单元,以对车辆周围三维点云数据添加对应语义信息,并对添加了语义信息的点云数据进行三维目标检测,输出三维目标检测结果。与现有技术相比,本发明能够在复杂的低光照环境下有效提高三维目标检测的精度。
-
公开(公告)号:CN109919051A
公开(公告)日:2019-06-21
申请号:CN201910131936.0
申请日:2019-02-22
Applicant: 同济大学
Abstract: 本发明涉及一种用于视频图像处理的卷积神经网络加速方法,包括以下步骤:S1:将用于视频图像处理的整个卷积神经网络分为第一阶段和第二阶段,第一阶段包括但不限于两个具有相同输入、计算量不同的子网络,将计算量较小的子网络作为快路径,将计算量较大的子网络作为慢路径;S2:令两条路径异步执行,并对快、慢路径进行视频处理的特征图进行更新;S3:通过包括但不限于拼接、求和、全连接等融合方式将两条路径的特征图进行融合,将融合的输出作为第二阶段的输入;S4:根据最终目标问题设计第二阶段模型,组成完整的网络模型,并对模型进行训练和部署。与现有技术相比,本发明具有加快神经网络的运行速度的同时保证精度的优点。
-
公开(公告)号:CN114782541A
公开(公告)日:2022-07-22
申请号:CN202210209540.5
申请日:2022-03-04
Applicant: 同济大学
Abstract: 本发明涉及一种基于RGB和红外图像的3D信息感知方法和系统,方法包括:对RGB相机和红外相机进行双目标定,获取相机的内外参和单应矩阵;分别获取原始RGB图像和红外图像,并进行图像矫正使其平行共面;基于矫正后的RGB图像和红外图像获取双目RGB深度图和双目红外深度图;对矫正后的红外图像进行深度估计得到单目红外深度图;对矫正后的RGB图像进行光照估计,获取图像亮度并进行光照判断;基于光照判断对双目RGB深度图、双目红外深度图和单目红外深度图进行加权得到最终的深度图;将深度图映射到三维空间获取伪点云并输入点云网络获取目标的3D信息。与现有技术相比,本发明能够更好地处理强光照、低光照、目标与背景区分度小等非常规工况下的3D信息感知。
-
公开(公告)号:CN114120274A
公开(公告)日:2022-03-01
申请号:CN202111359844.1
申请日:2021-11-17
Applicant: 同济大学
Abstract: 本发明涉及一种应用于低光照场景的车道线检测方法及其系统,该方法包括以下步骤:分别构建图像特征增强网络和车道线检测网络;对图像特征增强网络和车道线检测网络进行网络训练;将采集的实际图像输入训练好的图像特征增强网络,输出得到增强的图像特征;将增强的图像特征输入训练好的车道线检测网络,输出得到对应的车道线检测信息。该系统的图像特征增强模块使用轻量化的自监督端到端网络;车道线检测模块使用基于深度神经网络的语义分割模型。与现有技术相比,本发明将图像特征增强算法引入了车道线检测任务,能够在不影响检测实时性的基础上,有效提升车道线检测算法在低光照条件下的检测精度,进而提高车辆自动驾驶系统的鲁棒性和安全性。
-
公开(公告)号:CN114120013A
公开(公告)日:2022-03-01
申请号:CN202111392935.5
申请日:2021-11-23
Applicant: 同济大学
Abstract: 本发明涉及一种红外与RGB跨模态特征点匹配方法,包括:基于采集的原始RGB图像和IR图像对深度学习模型进行离线训练,得到训练好的匹配模型;将待测的数据输入匹配模型,以提取出特征描述子、输出对应匹配结果。与现有技术相比,本发明聚焦于多光谱图像的融合,融合可见光图像(RGB)和热成像图像(IR),通过模型训练,能够在多模态下准确提取特征点,更好地执行跨模态特征匹配任务,进而提高在光照变化剧烈及黑暗场景下相机位姿估计的精度,可以为许多应用提供可靠的感知前端,为后续在传统SLAM框架下融合多光谱传感器的研究工作做好前端铺垫,也将有利于实现跨越白天(基于RGB图像)和黑夜(基于IR图像)的同一场景建图定位匹配或深度估计与三维建图。
-
公开(公告)号:CN114022563A
公开(公告)日:2022-02-08
申请号:CN202111238591.2
申请日:2021-10-25
Applicant: 同济大学
Abstract: 本发明提供一种用于自动驾驶的动态障碍物检测方法,包括以下步骤:通过车载传感器设备获取车辆运行过程中的环境图像流、点云数据和定位数据;将所述环境图像流分成连续的帧图像,对每一对连续的帧图像依次进行2D特征点的检测和匹配、2D特征点的3D位置的还原和恢复、3D特征点的动静态点的甄别,以及构建动静二值标签;将所有帧图像的动静二值标签作为神经网络的输入,训练神经网络;实时采集车辆运行过程中的环境图像流,以点云数据和定位数据,并输入训练好的神经网络,获取动静二值分割图像,进而实现动态障碍物的检测。与现有技术相比,该方法能够通过对动态目标和静态目标进行分割,进而实现动态障碍物检测,并提高障碍物检测的准确性。
-
公开(公告)号:CN112373484B
公开(公告)日:2021-12-31
申请号:CN202011344194.9
申请日:2020-11-26
Applicant: 同济大学
Abstract: 本发明涉及一种基于前馈神经网络的汽车整车质量动力学获取方法,包括以下步骤:1)获取车辆行驶过程中的动力学信息;2)将动力学信息输入训练完成的前馈神经网络,得到当前采样时刻整车质量的神经网络估计值MNN(k);3)利用整车质量动力学估计器,获取当前采样时刻整车质量的动力学估计值MDynamic(k);4)将当前采样时刻整车质量的神经网络估计值MNN(k)和动力学估计值MDynamic(k),以及上一采样时刻整车质量的最终估计值MFusion(k‑1),进行加权融合,得到当前采样时刻整车质量的最终估计值MFusion(k),与现有技术相比,本发明具有适用范围广、成本低、鲁棒性好等优点。
-
-
-
-
-
-
-
-
-