公开(公告)号：CN118799531A

公开(公告)日：2024-10-18

申请号：CN202410782673.0

申请日：2024-06-18

Applicant: 上海交通大学

Inventor： 杨明 ,  戚治齐 ,  庄瀚洋 ,  季诺澄 ,  徐欣颜 ,  王春香 ,  王冰

IPC: G06T19/00 ,  G06T17/05 ,  G06T15/20 ,  G06V20/00 ,  G06V20/58 ,  G06V20/20 ,  G06V20/70 ,  G06V10/26 ,  G06V10/46 ,  G06V10/62 ,  G06V10/75 ,  G06V10/94 ,  G06V10/96 ,  G06V10/82

Abstract: 本发明提供了一种基于车载相机获取实时街景图像构建NeRF实景的方法及系统，基于车载相机获取多个具有不同角度和不同高度的连续多视角周围实时图像数据，提取关键特征并进行图像配准，得到图像之间的相对位置关系，拼接形成实时街景图片，构建众包数据；对众包数据中的图片进行坐标对齐处理，得到对齐后的图片；利用对齐后的图片训练得到一NeRF模型，基于NeRF模型生成全角度三维街景图像，完成NeRF实景构建。本发明实现众包图像之间的像素级匹配和位姿优化；以较高的速度构建高度还原的全角度三维街景图像；实现了对于动态街景的语义分割和开阔场景建模；同时，实现了对来源广泛、语义复杂、采集量大的室外街景众包数据的处理。

公开(公告)号：CN117036610A

公开(公告)日：2023-11-10

申请号：CN202311022852.6

申请日：2023-08-15

Applicant: 上海交通大学

Inventor： 杨明 ,  季诺澄 ,  庄瀚洋 ,  王春香

IPC: G06T17/00 ,  G06T7/10 ,  G06T5/00 ,  G06V10/762

Abstract: 本发明提供一种基于三维点云的虚拟现实场景建模系统和方法，包括：预处理模块，该模块对原始点云数据进行预处理，得到体素网格和附加哈希表；体素分割与着色模块，该模块对所述体素网格和附加哈希表中的点云场景背景进行分割和统一着色，获得体素语义点云；体素场景导出模块，该模块将已分割和着色的所述体素语义点云导出至虚拟场景软件，完成虚拟现实场景建模。本发明解决模型重建过程中点云数据的噪声和误差导致的模型粗糙问题，并提升点云色彩的分布均匀性；解决模型导出到体素场景的问题，通过模型方块的与颜色的映射，实现彩色体素到虚拟现实场景模型的转化与导出。

公开(公告)号：CN118799532A

公开(公告)日：2024-10-18

申请号：CN202410782675.X

申请日：2024-06-18

Applicant: 上海交通大学

Inventor： 杨明 ,  徐欣颜 ,  庄瀚洋 ,  季诺澄 ,  戚治齐 ,  王春香 ,  王冰

IPC: G06T19/00 ,  G06T17/05 ,  G06T15/20 ,  G06V20/00 ,  G06V20/20 ,  G06V20/70 ,  G06V10/26 ,  G06V10/46 ,  G06V10/62 ,  G06V10/75 ,  G06V10/94 ,  G06V10/96 ,  G06V10/82

Abstract: 本发明提供了一种基于手机相机众包数据的NeRF实景建模方法及系统，包括：基于手机相机获取实时环境图片，并形成众包数据；对众包数据中的图片进行坐标对齐处理；对对齐后的图片进行预处理，并输入至一神经辐射场景模型中，对神经辐射场景模型进行训练，得到训练后的NeRF模型。本发明解决了众包数据的对齐问题，通过使用SLAM、神经网络等技术，实现众包图像之间的像素级匹配和位姿优化；使用手机相机众包数据进行街景建模的方法，通过使用NeRF神经网络，以较高的速度构建高度还原的全角度三维街景渲染图像；实现了对于动态街景的语义分割和开阔场景建模以及对来源广泛、语义复杂、采集量大的室外街景众包数据的处理。

公开(公告)号：CN119107432A

公开(公告)日：2024-12-10

申请号：CN202411132525.0

申请日：2024-08-19

Applicant: 上海交通大学

Inventor： 杨明 ,  于子岐 ,  庄瀚洋 ,  季诺澄 ,  余勇瑞 ,  王春香 ,  王冰

IPC: G06T19/00 ,  G06T17/05 ,  G06V20/50 ,  G06V20/70 ,  G06F3/04815

Abstract: 本发明提供了一种在三维街景地图上与渲染实体进行交互的方法及系统，其中：在三维街景地图中确定每一个建筑的三维边界，进而识别出每一个完整的建筑；实时获取建筑的信息，并赋予到已识别出的对应建筑中；根据所需的目标结果，获取三维街景地图中目标建筑和/或相应的建筑信息，完成在三维街景地图上与渲染实体的交互。本发明将信息赋予到NeRF的模型中，使得用户能够在三维街景地图上与实体建筑进行交互，得到实时信息，解决了三维街景地图中没有与渲染实体交互功能的问题，使得用户能够随时随地了解地图中建筑信息，增强了用户的体验感；解决了反馈信息不及时的问题，使得实时的信息反馈与处理具有很强的时效性，大大丰富了地图的功能。

公开(公告)号：CN118799517A

公开(公告)日：2024-10-18

申请号：CN202410940669.2

申请日：2024-07-15

Applicant: 上海交通大学

Inventor： 杨明 ,  余勇瑞 ,  庄瀚洋 ,  季诺澄 ,  于子岐 ,  王春香 ,  王冰

IPC: G06T17/05 ,  G06T7/73 ,  G06V10/26 ,  G06V20/70 ,  G06T15/00 ,  G06N3/0499 ,  G06F16/29 ,  G06N3/09

Abstract: 本发明提供了一种基于NeRF和现实地理的三维街景地图构建方法及系统，其中方法包括：获取室外场景图像及其定位信息，测定所述室外场景图像的相机位姿，得到相机位姿图像数据；利用所述相机位姿图像数据训练一基于NeRF的模型，并对所述基于NeRF的模型进行全视角场景渲染，得到隐式三维模型；在隐式三维模型的基础上，根据所述定位信息和相机位姿，并结合现实地理信息，得到在地理坐标系下由NeRF方式建模的NeRF形式的三维街景地图，完成三维街景地图构建。本发明融合了现实地理信息和SLAM‑NeRF高精度建模的数据结构，能够广泛覆盖街景并且将地理信息准确地在街景地图上显示。