基于深度图像和神经辐射场的新视角合成方法

    公开(公告)号:CN113706714B

    公开(公告)日:2024-01-05

    申请号:CN202111033534.0

    申请日:2021-09-03

    Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为:一种基于深度图像和神经辐射场的新视角合成方法,其特征在于:获取场景多个视角的真实RGB‑D图像;基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云,场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应;基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示;渲染带颜色的三角网格表示生成大量渲染图像;利用渲染图像作为网络真值预训练神经辐射场网络;利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络;通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。(56)对比文件Aihua Mao.STD-Net: Structure-preserving and Top ology-adaptiveDeformation Network for 3D Reconstructionfrom a Single Image《.arXiv》.2020,1-14.Ben Mildenhall.NeRF: RepresentingScenes as Neural Radiance Fields for ViewSynthesis《.ECCV》.2020,99-108.R.M. Lacher.Nonrigid reconstructionof 3D breast surfaces with a low-costRGBD camera for surgical planning andaesthetic evaluation《.Medical ImageAnalysis》.2019,11-25.徐超.基于新视角合成的视频摘要交互式浏览《.电子学报》.2015,2263-2270.常远.基于神经辐射场的视点合成算法综述《.图学学报》.2021,376-384.

    交互式编辑神经辐射场几何的方法

    公开(公告)号:CN114429538A

    公开(公告)日:2022-05-03

    申请号:CN202210340649.2

    申请日:2022-04-02

    Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法,为:利用物体对象的多视角图像训练神经辐射场网络,建立神经辐射场表示;从物体对象的神经辐射场表示提取显式的三角网格表示;基于三角网格表示生成包裹三角网格表示的四面体网格表示;将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示;在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体,将四面体网格表示变换为变形后四面体网格表示;利用变形前后四面体网格表示的对应关系,得到变形前后四面体四个顶点的位移;通过对四面体四个顶点的位移进行重心插值,得到光线采样点的位移;基于光线采样点的位移对光线进行弯曲,渲染生成神经辐射场图像。

    交互式编辑神经辐射场几何的方法

    公开(公告)号:CN114429538B

    公开(公告)日:2022-07-12

    申请号:CN202210340649.2

    申请日:2022-04-02

    Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法,为:利用物体对象的多视角图像训练神经辐射场网络,建立神经辐射场表示;从物体对象的神经辐射场表示提取显式的三角网格表示;基于三角网格表示生成包裹三角网格表示的四面体网格表示;将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示;在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体,将四面体网格表示变换为变形后四面体网格表示;利用变形前后四面体网格表示的对应关系,得到变形前后四面体四个顶点的位移;通过对四面体四个顶点的位移进行重心插值,得到光线采样点的位移;基于光线采样点的位移对光线进行弯曲,渲染生成神经辐射场图像。

    基于深度图像和神经辐射场的新视角合成方法

    公开(公告)号:CN113706714A

    公开(公告)日:2021-11-26

    申请号:CN202111033534.0

    申请日:2021-09-03

    Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为:一种基于深度图像和神经辐射场的新视角合成方法,其特征在于:获取场景多个视角的真实RGB‑D图像;基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云,场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应;基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示;渲染带颜色的三角网格表示生成大量渲染图像;利用渲染图像作为网络真值预训练神经辐射场网络;利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络;通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。

Patent Agency Ranking