公开(公告)号：CN118052920A

公开(公告)日：2024-05-17

申请号：CN202310807760.2

申请日：2023-07-03

申请人： 华为技术有限公司 ,  浙江大学

发明人： 廖依伊 ,  李思成 ,  虞露 ,  曹潇然 ,  涂晨曦 ,  蔡康颖

IPC分类号： G06T15/00 ,  G06T15/08 ,  G06T15/50 ,  G06T3/4053 ,  G06T3/4046 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/09

摘要： 本申请实施例提供了一种渲染方法及装置、训练方法，涉及图像处理技术领域，该方法包括：先通过神经渲染得到较低分辨率的任意视角下预设三维对象的特征图，再对该特征图进行超分辨率处理，得到所需的较高分辨率的该预设三维对象在该任意视角下的渲染图像。由于神经渲染的特征图的分辨率较低，且图像超分辨率处理的复杂度也较低，从而降低算法复杂度，以提升对图像的渲染速度，满足实时地以自由视角来观看三维内容的图像需求。

公开(公告)号：CN118429499A

公开(公告)日：2024-08-02

申请号：CN202410314953.9

申请日：2024-03-19

申请人： 浙江大学

发明人： 廖依伊 ,  季超杰 ,  李雨峰

IPC分类号： G06T15/00 ,  G06T17/20 ,  G06N3/08

摘要： 本发明公开了一种非漫反射表面实时渲染方法及装置，其包括：利用神经网络对初始网格的形状进行优化，并对优化后的网格结合输入图片的观察视角进行可微光栅化；对每个观察视角前景区域内的像素着色得到对应观察视角下的渲染图片；利用梯度下降法优化神经网络的权重；并结合观察视角方向，利用网格、环境贴图、法向量贴图、镜面反射颜色特征贴图、漫反射颜色贴图、着色神经网络在任意给定视角渲染得到渲染图片。采用本发明技术，可以实现实时交互的新视点合成任务，逼真地重建非漫反射表面的形状和外观。

公开(公告)号：CN106780588A

公开(公告)日：2017-05-31

申请号：CN201611126056.7

申请日：2016-12-09

申请人： 浙江大学

发明人： 刘勇 ,  廖依伊 ,  王越

IPC分类号： G06T7/55

CPC分类号： G06T2207/10004 ,  G06T2207/20081 ,  G06T2207/20084 ,  G06T2207/20221

摘要： 本方法公开了一种基于稀疏激光观测的图像深度估计方法，该方法提出利用单线或多线激光的稀疏观测实现基于单目图像的深度稠密重构。通过构造参考深度图与残差深度图的方式训练深度神经网络，对稀疏的部分观测深度信息进行了充分利用。本发明相比于仅用单目图像进行深度估计的方法，该方法体现了明显优势。

公开(公告)号：CN118710843A

公开(公告)日：2024-09-27

申请号：CN202410693850.8

申请日：2024-05-31

申请人： 浙江大学

发明人： 潘芃轶 ,  李想 ,  王嘉梁 ,  廖依伊

IPC分类号： G06T17/20 ,  G06T15/20 ,  G06T15/04 ,  G06T19/00 ,  G06N3/0499 ,  G06N3/084

摘要： 本发明公开了一种面向VR设备的照片级真实场景重建和沉浸式交互系统。本发明通过用户的摄像设备采集真实环境图像，基于NeRF模型训练图像得到带有语义信息的Mesh模型和对应的纹理特征图像，从而从二维图像中高质量重建出三维场景模型，并利用Unity引擎和VR设备实现真实环境和虚拟环境的无缝结合，为用户提供了一种沉浸式的视觉体验。为了提高交互性，本发明创新地采用了依据用户语音信息进行操作控制的方式，通过麦克风实时捕捉用户语音指令，并将其快速准确地转化为对应的文本信息，完成一系列语义化操作。本发明通过融合NeRF模型和VR技术，实施实时、方便的三维场景重建，并以用户体验为导向，实现了高度沉浸的交互科技，将本系统的实用性推向了新的高度。

公开(公告)号：CN117213464A

公开(公告)日：2023-12-12

申请号：CN202311026128.0

申请日：2023-08-15

申请人： 浙江大学

发明人： 王越 ,  毛云瑄 ,  于煊 ,  廖依伊 ,  熊蓉

IPC分类号： G01C21/00 ,  G06T7/73 ,  G06T3/40 ,  G06V10/40 ,  G06V10/80 ,  G06T15/20

摘要： 本发明公开了一种基于隐式表征的实时同时定位与建图系统，包括多线程定位与建图模块，其中，多线程定位与建图模块包括并行的相机追踪线程，局部建图线程以及全局建图线程；相机追踪线程用于依据实时采集的颜色‑深度视频帧，采用特征点提取与匹配的方式实时追踪相机位姿；局部建图线程用于基于颜色‑深度视频帧和相机位姿，采用隐式表征方式构建实时局部地图；全局建图线程用于对所有局部地图进行实时拼接和更新以获得完整全局地图。该系统同时发挥传统同时定位与建图方法的定位准确特点和隐式表征方法获取高精度地图的特点，以实现准确定位同时获得对应的高精度地图。

公开(公告)号：CN115482368A

公开(公告)日：2022-12-16

申请号：CN202211195116.6

申请日：2022-09-28

申请人： 浙江大学

发明人： 陆忆憧 ,  黄嘉欣 ,  叶江南 ,  廖依伊 ,  万世雄 ,  史治国

IPC分类号： G06T19/20 ,  G06T7/70 ,  G06T9/00 ,  G06T7/90 ,  G06T15/20 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种利用语义图进行三维场景编辑的方法。该方法能够允许用户通过编辑一张二维语义图完成对隐式三维场景的编辑，在任意新视角下渲染出编辑后的二维照片。本方法主要包括泛化训练、微调、优化和渲染四个步骤。泛化训练时，本方法利用多个场景的数据进行训练，提升网络对场景几何的学习能力，进而加快对新场景的训练收敛速度。微调时，本方法把新场景的RGB图片和语义图作为监督，对网络中的MLP进行训练，提升网络对新场景的表达能力。优化时，本方法把用户编辑后的语义图作为监督，对网络中的MLP进行训练，完成三维场景的编辑。渲染时，本方法可以根据输入的任意相机位姿渲染出场景编辑后的二维RGB照片。本方法可在AR/VR设备中用于场景编辑。