-
公开(公告)号:CN113706714B
公开(公告)日:2024-01-05
申请号:CN202111033534.0
申请日:2021-09-03
Applicant: 中科计算技术创新研究院
IPC: G06T17/20 , G06T15/00 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为:一种基于深度图像和神经辐射场的新视角合成方法,其特征在于:获取场景多个视角的真实RGB‑D图像;基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云,场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应;基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示;渲染带颜色的三角网格表示生成大量渲染图像;利用渲染图像作为网络真值预训练神经辐射场网络;利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络;通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。(56)对比文件Aihua Mao.STD-Net: Structure-preserving and Top ology-adaptiveDeformation Network for 3D Reconstructionfrom a Single Image《.arXiv》.2020,1-14.Ben Mildenhall.NeRF: RepresentingScenes as Neural Radiance Fields for ViewSynthesis《.ECCV》.2020,99-108.R.M. Lacher.Nonrigid reconstructionof 3D breast surfaces with a low-costRGBD camera for surgical planning andaesthetic evaluation《.Medical ImageAnalysis》.2019,11-25.徐超.基于新视角合成的视频摘要交互式浏览《.电子学报》.2015,2263-2270.常远.基于神经辐射场的视点合成算法综述《.图学学报》.2021,376-384.
-
公开(公告)号:CN114429538A
公开(公告)日:2022-05-03
申请号:CN202210340649.2
申请日:2022-04-02
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法,为:利用物体对象的多视角图像训练神经辐射场网络,建立神经辐射场表示;从物体对象的神经辐射场表示提取显式的三角网格表示;基于三角网格表示生成包裹三角网格表示的四面体网格表示;将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示;在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体,将四面体网格表示变换为变形后四面体网格表示;利用变形前后四面体网格表示的对应关系,得到变形前后四面体四个顶点的位移;通过对四面体四个顶点的位移进行重心插值,得到光线采样点的位移;基于光线采样点的位移对光线进行弯曲,渲染生成神经辐射场图像。
-
公开(公告)号:CN114429538B
公开(公告)日:2022-07-12
申请号:CN202210340649.2
申请日:2022-04-02
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种交互式编辑神经辐射场几何的方法,为:利用物体对象的多视角图像训练神经辐射场网络,建立神经辐射场表示;从物体对象的神经辐射场表示提取显式的三角网格表示;基于三角网格表示生成包裹三角网格表示的四面体网格表示;将三角网格表示变为具有相同顶点和连通关系但有不同顶点位置的变形后三角网格表示;在四面体网格表示上查找三角网格表示上每个三角网格顶点所在的四面体,将四面体网格表示变换为变形后四面体网格表示;利用变形前后四面体网格表示的对应关系,得到变形前后四面体四个顶点的位移;通过对四面体四个顶点的位移进行重心插值,得到光线采样点的位移;基于光线采样点的位移对光线进行弯曲,渲染生成神经辐射场图像。
-
公开(公告)号:CN118741069A
公开(公告)日:2024-10-01
申请号:CN202410756606.1
申请日:2024-06-12
Applicant: 北京达佳互联信息技术有限公司 , 中科计算技术创新研究院
IPC: H04N13/275 , H04N13/282 , H04N21/81 , G06N3/096
Abstract: 本公开关于一种文本输入生成动态三维视频的方法、装置、电子设备、计算机存储介质以及计算机程序产品,所述方法包括:获取文本数据,并基于文本数据生成满足文本数据的描述内容的参考视频;以文本数据和参考视频中的参考图片作为约束条件,生成满足文本数据描述和参考图片的静态三维模型;基于静态三维模型,确定动态信息生成模型;基于混合先验优化策略对动态信息生成模型优化监督,并基于优化监督后的动态信息生成模型,生成文本数据对应的三维视频;混合先验优化策略包括参考视频的直接先验和扩散模型的蒸馏先验。采用本方法,增强了三维视频的动态效果。
-
公开(公告)号:CN113706714A
公开(公告)日:2021-11-26
申请号:CN202111033534.0
申请日:2021-09-03
Applicant: 中科计算技术创新研究院
Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为:一种基于深度图像和神经辐射场的新视角合成方法,其特征在于:获取场景多个视角的真实RGB‑D图像;基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云,场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应;基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示;渲染带颜色的三角网格表示生成大量渲染图像;利用渲染图像作为网络真值预训练神经辐射场网络;利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络;通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。
-
-
-
-