公开(公告)号：CN117934703A

公开(公告)日：2024-04-26

申请号：CN202311675493.4

申请日：2023-12-07

Applicant: 北京大学

Inventor： 王勇涛 ,  周啸宇

IPC: G06T17/00 ,  G06T19/20 ,  G06T15/00 ,  G06F30/20 ,  G06F111/02 ,  G06F111/20

Abstract: 本发明公开了一种基于三维高斯的多帧环视自动驾驶场景仿真与编辑方法，利用多模态传感器数据对大规模自动驾驶场景进行三维重建仿真。通过3D高斯表征分别表示静态背景和存在多物体的动态前景，提出使用增量式的3D静态高斯场建模大规模长时序的静态背景，并利用3D高斯动态图表征动态多物体，最终通过全局3D高斯splatting实现新视图渲染。同时，采用基于显式3D高斯的可控编辑技术，实现针对大规模自动驾驶场景的高效编辑，生成逼真的、多样化的corner cases驾驶场景，从而辅助训练和验证自动驾驶系统，提升自动驾驶系统在极端场景下的性能和保障安全性。

公开(公告)号：CN117409140A

公开(公告)日：2024-01-16

申请号：CN202311370589.X

申请日：2023-10-23

Applicant: 北京大学

Inventor： 王勇涛 ,  周啸宇

IPC: G06T17/00 ,  G06T15/02 ,  G06N3/0499 ,  G06F40/30 ,  G06V10/56 ,  G06V10/764 ,  G06N3/08

Abstract: 本发明公开了一种基于大语言模型的可控布局三维场景表征与生成方法，利用文本和图像提示条件下的3D Layout作为三维多物体场景的空间状态表征，经过大语言模型和3D感知模型对指定的文本或图像进行三维空间状态抽取，并利用抽取得到的类别和空间位置状态信息生成3D Layout空间状态表征，之后利用神经辐射场和扩散模型在生成的3D Layout基础上进一步生成得到逼真的三维实景，从而实现高保真、多样化、高可控的三维场景生成。该方法打破了常规手动3D场景建模的思路，不依赖特定的大语言模型和扩散生成模型，且能够应用在复杂多样的三维场景生成中，包括但不限于多物体组合场景、室内场景、室外场景等，生成的场景几何形状精准、渲染质量高，简单高效，可控性强。

公开(公告)号：CN119782814A

公开(公告)日：2025-04-08

申请号：CN202411836817.2

申请日：2024-12-13

Applicant: 北京大学

Inventor： 王勇涛 ,  林志威 ,  周啸宇

IPC: G06F18/214 ,  G06F18/2136 ,  G06V10/774 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开一种基于稀疏矩阵的轻量化持续微调方法，属于计算机视觉技术领域。本发明使用稀疏矩阵和矩阵分解技术，对微调所需的稀疏矩阵进行低秩分解，构造共享权重矩阵和持续学习专业权重矩阵，进而完成对多个下游数据集的微调训练。本发明能够提高各种通用的大模型在下游数据集上的性能，且具有通用性，不依赖与特定的网络架构，适用于当前所有的视觉、语言和多模态大模型，方法简单方便，能够在保留大模型泛化和通用能力的基础上，有效提高在下游数据上的精度。

公开(公告)号：CN117408149A

公开(公告)日：2024-01-16

申请号：CN202311370586.6

申请日：2023-10-23

Applicant: 北京大学

Inventor： 王勇涛 ,  周啸宇 ,  熊雅娇

IPC: G06F30/27 ,  G06N3/084 ,  G06T17/00 ,  G06T15/00 ,  G06T7/269 ,  G06T7/50 ,  G06N3/0499

Abstract: 本发明公开了一种基于三维场景数据仿真和感知模型的联合训练优化方法。本发明打破了现有三维场景数据仿真与感知的训练优化隔阂，将三维场景动态仿真网络与多感知模型的训练进行端到端的联合优化，将感知、仿真等模块结合到一个可以联合训练的统一系统中，提高了计算效率，系统目标统一，更易获得全局最优解。本发明实现了从数据源头到感知模型的端到端训练，打造数据闭环与模型同步调优的全流程技术框架，在提升感知模型性能的同时能够进一步提高数据仿真的准确性、完整性和逼真程度，且能被用于更多后续的、下游的任务(如决策、控制)，实现仿真‑感知的同步训练、协同优化，打造了仿真数据生成与感知模型训练端到端联合训练优化的新范式。