公开(公告)号：CN116977810B

公开(公告)日：2024-01-09

申请号：CN202311236786.2

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 马也驰 ,  华炜 ,  张楚润 ,  位硕权 ,  李亚南 ,  孔庶

IPC: G06V10/80 ,  G06V20/64 ,  G06V10/74 ,  G06V10/774

Abstract: 本申请涉及一种多模态后融合的长尾类别检测方法和系统。所述方法包括：利用第一目标检测模型检测当前场景的点云数据，得到第一目标检测结果；利用第二目标检测模型检测当前场景的图像数据，得到第二目标检测结果；将第一目标检测结果中的三维检测框投影到图像数据的坐标系中，与第二目标检测结果中的二维检测框进行配对；若配对结果中长尾类别的上级类别相匹配，则将两者的置信度进行融合，并更新配对结果；基于点云数据的三维检测框、第三置信度以及图像数据的第二长尾类别，确定更新后的配对结果的长尾类别检测结果。通过本方法能够实现多模态的长尾类别检测，通过轻量级模型，提高长尾类别的检测效率和检测结果的输出精度。(56)对比文件王希;陈晓波;习俊通.人体散乱点云数据的区域分割算法.机械设计与研究.2020,(第01期),全文.杨健程;倪冰冰.医学3D计算机视觉:研究进展和挑战.中国图象图形学报.2020,(第10期),全文.汤鹏杰;王瀚漓;许恺晟.LSTM逐层多目标优化及多层概率融合的图像描述.自动化学报.2017,(第07期),全文.曹诗雨;刘跃虎;李辛昭.基于Fast R-CNN的车辆目标检测.中国图象图形学报.2017,(第05期),全文.

公开(公告)号：CN116434183B

公开(公告)日：2023-11-14

申请号：CN202310215469.6

申请日：2023-03-08

Applicant: 之江实验室

Inventor： 华炜 ,  张楚润 ,  高海明 ,  马也驰 ,  张顺 ,  沈峥

IPC: G06V20/58 ,  G01S17/931 ,  G01S17/87 ,  G06V10/30 ,  G06V10/28 ,  G06V10/44 ,  G06V10/80

Abstract: 本发明公开一种基于多点云协同融合的道路静态环境描述方法，包括：使用多个多线激光传感器，采集道路环境点云信息；对多个点云信息进行时间同步和空间对齐；利用多点云协同进行地面分割，提取出障碍物点云；融合多点云光线跟踪模型的结果，更新局部概率栅格地图；将局部概率栅格地图转换为二值图，进行障碍物轮廓提取、简化与分割。本发明的方法利用多点云协同的方式进行地面分割，可以更准确地分割出地面，提取出障碍物点云。此外，采用多个多线激光传感器，盲区小，范围广，能够全方位360度检测无人车周围环境的静态障碍物，进一步克服单个激光检测存在大范围盲区的缺点。

公开(公告)号：CN115330969A

公开(公告)日：2022-11-11

申请号：CN202211250177.8

申请日：2022-10-12

Applicant: 之江实验室

Inventor： 高海明 ,  华炜 ,  邱奇波 ,  韩正勇 ,  张顺 ,  张楚润

IPC: G06T17/05 ,  G06T7/00 ,  G06T5/00 ,  G06T7/11

Abstract: 本发明公开了一种用于地面无人车的局部静态环境矢量化描述方法，本发明首先通过地面分割方法，获得点云属性以及离地高度；然后结合点云地面分割结果和实时位姿信息，生成二维障碍物点云；利用二维障碍物点云信息和实时位姿信息，生成和维护局部栅格地图；再通过二值化和形态学操作，得到描述占据信息的二值图；最后通过障碍物边缘提取以及凸多边形矢量化分割，将静态环境分割为若干个凸多边形。本发明逻辑简单清晰，实施方案灵活多变，实现了鲁棒检测静态障碍物且紧凑描述环境的目的，克服了传统占用栅格地图存在占用大量内存和增加计算成本的缺点。

公开(公告)号：CN116977810A

公开(公告)日：2023-10-31

申请号：CN202311236786.2

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 马也驰 ,  华炜 ,  张楚润 ,  位硕权 ,  李亚南 ,  孔庶

IPC: G06V10/80 ,  G06V20/64 ,  G06V10/74 ,  G06V10/774

Abstract: 本申请涉及一种多模态后融合的长尾类别检测方法和系统。所述方法包括：利用第一目标检测模型检测当前场景的点云数据，得到第一目标检测结果；利用第二目标检测模型检测当前场景的图像数据，得到第二目标检测结果；将第一目标检测结果中的三维检测框投影到图像数据的坐标系中，与第二目标检测结果中的二维检测框进行配对；若配对结果中长尾类别的上级类别相匹配，则将两者的置信度进行融合，并更新配对结果；基于点云数据的三维检测框、第三置信度以及图像数据的第二长尾类别，确定更新后的配对结果的长尾类别检测结果。通过本方法能够实现多模态的长尾类别检测，通过轻量级模型，提高长尾类别的检测效率和检测结果的输出精度。

公开(公告)号：CN116434183A

公开(公告)日：2023-07-14

申请号：CN202310215469.6

申请日：2023-03-08

Applicant: 之江实验室

Inventor： 华炜 ,  张楚润 ,  高海明 ,  马也驰 ,  张顺 ,  沈峥

IPC: G06V20/58 ,  G01S17/931 ,  G01S17/87 ,  G06V10/30 ,  G06V10/28 ,  G06V10/44 ,  G06V10/80

Abstract: 本发明公开一种基于多点云协同融合的道路静态环境描述方法，包括：使用多个多线激光传感器，采集道路环境点云信息；对多个点云信息进行时间同步和空间对齐；利用多点云协同进行地面分割，提取出障碍物点云；融合多点云光线跟踪模型的结果，更新局部概率栅格地图；将局部概率栅格地图转换为二值图，进行障碍物轮廓提取、简化与分割。本发明的方法利用多点云协同的方式进行地面分割，可以更准确地分割出地面，提取出障碍物点云。此外，采用多个多线激光传感器，盲区小，范围广，能够全方位360度检测无人车周围环境的静态障碍物，进一步克服单个激光检测存在大范围盲区的缺点。