一种基于多模态融合的无人系统三维目标检测方法和装置

    公开(公告)号:CN118172632A

    公开(公告)日:2024-06-11

    申请号:CN202410292746.8

    申请日:2024-03-14

    Applicant: 湖南大学

    Abstract: 本申请涉及一种基于多模态融合的无人系统三维目标检测方法及装置,所述方法包括以下步骤:获取待检测的道路场景的二维图像和三维点云数据,并输入多模态融合检测模型;多模态融合检测模型包括时序动态卷积融合模块,其利用三维位置嵌入编码器,根据前一帧的三维世界空间坐标与前一帧的二维图像特征生成前一帧的三维位置感知特征,前一帧的三维位置感知特征经位姿变换后作为当前帧的补充位置感知特征;根据当前帧的补充位置感知特征与当前帧的三维点云特征生成第一融合帧三维点云特征;基于第一融合帧三维点云特征和当前帧的二维图像特征得到初步融合特征,基于初步融合特征输出检测结果。该方法可解决远处目标识别困难的问题。

Patent Agency Ranking