公开(公告)号：CN119888410A

公开(公告)日：2025-04-25

申请号：CN202510069474.X

申请日：2025-01-16

Applicant: 哈尔滨工业大学

Inventor： 苏晗 ,  闫子飞 ,  黄天毓 ,  左旺孟

IPC: G06V10/774 ,  G06V10/72 ,  G06T15/00 ,  G06V10/40 ,  G06F40/279 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V20/64 ,  G06N3/0895 ,  G06N3/045

Abstract: 一种基于数据筛选优化的多视角协同跨模态3D感知模型训练方法，属于计算机视觉中的跨模态学习领域。本发明针对现有跨模态学习方法中存在的数据质量差、域间差异大以及空间信息丢失等问题。包括：对原始点云数据进行筛选获得筛选后点云数据；获得每个筛选后点云数据的一组多视角渲染图；采用筛选后点云数据对点云编码器进行训练；采用多视角渲染图对多视角编码器训练；将编码后点云特征、编码后多视角特征和编码后文本特征对齐到共享表示空间；最小化对比损失，使相同物体的多模态特征在所述共享表示空间尽量接近，并使不同物体的多模态特征在所述共享表示空间保持分离，并进行网络参数的调整。本发明可应用于三维感知技术的优化和提升。