-
公开(公告)号:CN116468731A
公开(公告)日:2023-07-21
申请号:CN202310215339.2
申请日:2023-03-08
Applicant: 中国矿业大学
Abstract: 一种基于跨模态Transformer的点云语义分割方法,属于语义分割技术领域。方法注重将相机图像密集视觉信息引导到点云语义分割任务中,以完成点云语义分割任务。先将三维点云按照坐标系变换关系统一到相机图像坐标系下,然后透视投影得到三维点云的二维表示,接着计算提取得到多尺度特征图,再进行跨模态注意力融合,将相机图像与投影的点云图像进行特征级融合,最后上采样图像并进行分类,将分类结果根据逆投影变换关系投影到三维点云上即可完成点云语义分割任务。利用Transformer自注意机制来建立跨模态间特征依赖关系,结合图像和点云两个模态的特征信息,增强了模型的特征表达能力,并设计了边界性损失函数,强调语义物体的边界,从而提高了物体分割的边界精度。