发明公开
- 专利标题: 基于2D-3D增强变换的点云表征学习方法
-
申请号: CN202410606355.9申请日: 2024-05-16
-
公开(公告)号: CN118552801A公开(公告)日: 2024-08-27
- 发明人: 宋沫飞 , 余海涛 , 张敏灵
- 申请人: 东南大学
- 申请人地址: 江苏省南京市江宁区东南大学路2号
- 专利权人: 东南大学
- 当前专利权人: 东南大学
- 当前专利权人地址: 江苏省南京市江宁区东南大学路2号
- 代理机构: 南京众联专利代理有限公司
- 代理商 周蔚然
- 主分类号: G06V10/77
- IPC分类号: G06V10/77 ; G06V10/44 ; G06V10/774 ; G06V10/82 ; G06V20/64 ; G06N3/0895 ; G06N3/0499
摘要:
本发明公开了一种基于2D‑3D增强变换的点云表征学习方法,旨在有效结合3D点云与2D多视图以实现深度特征学习和多模态对齐。该系统包括以下关键步骤:S1、2D多视图渲染;S2、3D点云图谱表示及其扰动处理,采用图谱分析技术提取点云谱表示并引入扰动以增加数据多样性;S3、2D视图的精细裁剪和控制,增强模型对复杂特征的识别能力;S4、多层次的2D多视图增强,通过不同类型和不同强度的增强变换改善样本质量;S5、多模态2D‑3D对比学习,通过模态内和跨模态对齐来改进对2D‑23D间的自监督学习。本发明显著提升了3D点云的表征能力,同时降低了对人工标注的依赖,增强了在实际应用中的泛化能力和鲁棒性。