公开(公告)号：CN116228986A

公开(公告)日：2023-06-06

申请号：CN202310284200.3

申请日：2023-03-22

Applicant: 南京大学

Inventor： 何振 ,  白家杨 ,  杨珊 ,  张岩 ,  过洁 ,  陈振宇 ,  郭延文

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/00 ,  G06T3/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部到全局补全策略的室内场景光照估计方法，该方法旨在从单张限制视角室内场景图片的任意位置估计出光照情况，并将室内场景光照估计问题分解为三个子任务：基于深度的图像变形、低动态范围(low dynamic range，LDR)全景图补全和高动态范围(high dynamic range，HDR)重建。基于第二个子任务，该方法提出一种从局部到全局的全景图补全策略，该策略首先对第一阶段变形后输出的稀疏的全景图进行深度引导的局部补全，以填补小而密集的空洞；之后通过立方体贴图投影法和一个能够拟合长距离依赖关系的transformer网络(称作PanoTransformer)进行合理的全局补全；最终能够在输入图片任意位置恢复出物理上合理且带有纹理细节的全景图，以捕捉空间变化的室内光照。

公开(公告)号：CN116524101A

公开(公告)日：2023-08-01

申请号：CN202310379766.4

申请日：2023-04-11

Applicant: 南京大学

Inventor： 杨珊 ,  过洁 ,  郭延文

IPC: G06T15/50 ,  G06N3/04

Abstract: 本发明公开了一种基于辅助缓冲区信息和直接光照进行全局光照渲染的方法及装置，本发明首先获取XML格式的场景文件，并将其转换为Blender格式；其次对Blender格式的场景文件进行多视角渲染，得到多图层渲染图像，并通过进行图层划分得到缓冲区信息、直接光照和真实渲染结果图；之后建立间接光照渲染网络模型，将缓冲区信息、直接光照作为输入，以最小化预测结果和真实渲染结果图的差为训练目标进行训练；最后将目标视角的辅助缓冲区信息和直接光照输入训练好的光照预测网络模型，得到间接光照贴图，再上采样后与高分辨率直接光照叠加，得到高分辨率全局光照渲染结果。本发明能够更高效地预测高质量的全局光照。