公开(公告)号：CN118898817A

公开(公告)日：2024-11-05

申请号：CN202411404146.2

申请日：2024-10-09

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 张航 ,  张经纬 ,  许昀璐

IPC: G06V20/56 ,  G06V10/80 ,  G06V10/40 ,  G06V10/764

Abstract: 本申请实施例提供了一种基于激光雷达的3D检测方法、装置及电子设备，该方法包括，获取目标帧；分别对各目标帧进行检测，得到各目标帧中存在的第一对象，并获取各第一对象的第一点云特征；分别将各目标帧中各第一对象的中心点的位姿转换为各第一对象对应的目标位姿，得到目标点云，并将各目标点云叠加至目标当前帧，得到目标融合帧；提取目标融合帧的俯视图特征，作为第一俯视图特征；按照第一对象在目标当前帧中所处位姿，将第一对象的第一点云特征投影至俯视图空间，得到第二俯视图特征；将第一俯视图特征和第二俯视图特征输入至第一对象检测模块，得到目标当前帧的对象检测结果。应用本申请实施例提供的技术方案，能够提高3D检测的准确性。

公开(公告)号：CN118823332A

公开(公告)日：2024-10-22

申请号：CN202411318858.2

申请日：2024-09-20

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 裴宇 ,  张经纬

IPC: G06V10/25 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/80

Abstract: 本申请实施例提供了一种多模态模型预训练方法、装置、设备以及存储介质，涉及深度学习技术领域。具体实现方案为：对样本点云和样本图像分别进行掩码处理得到第一掩码点云和第一掩码图像；对第一掩码点云进行特征提取得到第一BEV特征，对第一掩码图像进行特征提取得到第一图像特征；将第一图像特征转换到BEV视角下后和第一BEV特征进行特征融合得到第二BEV特征；分别对第二BEV特征以及第二图像特征进行解码，得到第一预测结果、第二预测结果和第三预测结果；基于第一预测结果、第二预测结果和第三预测结果分别与对应的真值之间的差异，调整模型参数。可见，通过本方案，能够提高训练得到的多模态模型中的编码器处理下游任务的处理效果。

公开(公告)号：CN111856445A

公开(公告)日：2020-10-30

申请号：CN201910289114.5

申请日：2019-04-11

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 张经纬 ,  方梓成 ,  邝宏武 ,  赵显

IPC: G01S13/86 ,  G01S13/931

Abstract: 本发明实施例提供了一种目标检测方法、装置、设备及系统，方法包括：将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配，匹配成功后再对两种目标进行特征提取及特征融合，基于融合后的特征判断检测出的目标是否为误检目标；可见，本方案中，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。