公开(公告)号：CN118172263A

公开(公告)日：2024-06-11

申请号：CN202410426539.7

申请日：2024-04-10

Applicant: 南京大学

Inventor： 龚雯 ,  白家杨 ,  黄乐天 ,  张岩 ,  过洁

IPC: G06T5/50 ,  G06T5/60 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明公开了一种自训练少样本神经辐射场的新视图合成方法，包括：对数据集进行预处理，选取标签数据，形成原始输入数据；初始化神经辐射场模型，使用原始输入数据对NeRF模型训练一个轮次，得到初始化神经辐射场模型，即首个迭代轮次的神经辐射场模型；生成第一类和第二类伪标签并保存；将标签数据、第一类和第二类伪标签作为新一轮迭代的神经辐射场模型的输入数据，并作为训练数据，进入新一轮神经辐射场模型的迭代，引入不确定性感知机制进行学习，重复执行上述步骤，并进行迭代训练，获得最终的神经辐射场模型；利用最终的神经辐射场模型进行预测，并渲染，完成所述的自训练少样本神经辐射场的新视图合成。

公开(公告)号：CN116342789A

公开(公告)日：2023-06-27

申请号：CN202310267610.7

申请日：2023-03-20

Applicant: 南京大学

Inventor： 李泽儒 ,  过洁 ,  郭延文

IPC: G06T15/50 ,  G06N3/0985 ,  G06N3/048

Abstract: 本发明公开了一种基于元学习的层状材质渲染方法及装置，方法包括：(1)获取样本数据集，每一样本包括一层状材质参数、一入射光方向、一出射光方向和一作为标签的反射比；(2)构建反射比预测网络模型，所述反射比预测网络模型包括元网络、坐标变换模块和BSDF网络；(3)采用样本数据集对所述反射比预测网络模型进行训练；(4)将待渲染的层状材质参数输入训练好的元网络，得到自适应权重再提取训练好的BSDF网络中的共享权重共同组成权重ΘF；(5)渲染器读取权重ΘF，在渲染过程中根据入射光方向和出射光方向采用权重ΘF计算反射比，并基于反射比进行层状材质渲染。本发明支持材质编辑且性能开销小。

公开(公告)号：CN116228986A

公开(公告)日：2023-06-06

申请号：CN202310284200.3

申请日：2023-03-22

Applicant: 南京大学

Inventor： 何振 ,  白家杨 ,  杨珊 ,  张岩 ,  过洁 ,  陈振宇 ,  郭延文

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/00 ,  G06T3/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部到全局补全策略的室内场景光照估计方法，该方法旨在从单张限制视角室内场景图片的任意位置估计出光照情况，并将室内场景光照估计问题分解为三个子任务：基于深度的图像变形、低动态范围(low dynamic range，LDR)全景图补全和高动态范围(high dynamic range，HDR)重建。基于第二个子任务，该方法提出一种从局部到全局的全景图补全策略，该策略首先对第一阶段变形后输出的稀疏的全景图进行深度引导的局部补全，以填补小而密集的空洞；之后通过立方体贴图投影法和一个能够拟合长距离依赖关系的transformer网络(称作PanoTransformer)进行合理的全局补全；最终能够在输入图片任意位置恢复出物理上合理且带有纹理细节的全景图，以捕捉空间变化的室内光照。

公开(公告)号：CN115222880A

公开(公告)日：2022-10-21

申请号：CN202210750179.7

申请日：2022-06-29

Applicant: 南京大学

Inventor： 顾馨兰 ,  过洁 ,  郭延文

IPC: G06T17/00 ,  G06F30/10 ,  G06F30/20 ,  A63F13/60

Abstract: 本发明公开了一种基于大气分层模型的三维云景程序化建模方法、装置和设备，方法包括：(1)将场景地形高度图作为地形环境模型，将大气层分为低、中、高三层；(2)根据风场计算大气层各区域的对流性，并将低、中、高三层大气层的对流性分别生成一张灰度纹理的对流分布图；(3)根据每层大气层的对流分布图判断其对应区域的云类型；(4)通过三维Perlin噪声和Worley噪声的不同叠加分别塑造不同体积云的三维类型纹理；(5)按照每层大气层各区域的云类型，在云景范围包围盒的对应区域填充对应类型云的三维类型纹理，并使用光线步进算法着色器对体积云进行渲染，在相机后处理步骤中绘制于屏幕上。本发明能够实时预览、兼具云景真实感和便捷性。

公开(公告)号：CN112927359A

公开(公告)日：2021-06-08

申请号：CN202110303157.1

申请日：2021-03-22

Applicant: 南京大学

Inventor： 周诚 ,  马常风 ,  郭延文 ,  过洁

IPC: G06T17/00 ,  G06T3/40 ,  G06N3/08 ,  G06N3/04 ,  G06K9/46

Abstract: 本发明公开了一种基于深度学习和体素的三维点云补全方法，包括以下步骤：步骤1：采集不同类别的原始物体模型；步骤2：对原始物体模型进行预处理，得到残缺点云和完整点云；步骤3：用经过预处理后的残缺点云和完整点云训练体素深度神经网络模型；步骤4：采集待补全的残缺点云并进行预处理；步骤5：根据步骤3得到的训练好的模型用步骤4得到的预处理后的点云作为输入进行点云补全。本方法融合了体素和点云结构的优点，通过使用不同类别的物体点云训练深度学习网络模型，再利用训练好的模型对残缺点云进行补全，得到具有细节的、均匀的、多分辨率的补全结果，解决了传统算法难以解决的问题。

公开(公告)号：CN108335351B

公开(公告)日：2020-04-21

申请号：CN201810075452.4

申请日：2018-01-26

Applicant: 南京大学

Inventor： 过洁 ,  潘金贵

IPC: G06T15/50

Abstract: 本发明公开了一种基于定向统计分析的BRDF色域映射方法，包括：获取目标设备墨水的BRDF；提取目标设备墨水的漫反射率、高光反射率和散布矩阵；形成目标设备的BRDF色域；提取源BRDF的漫反射率、高光反射率和散布矩阵；根据设定的权重，采用二次规划法优化将源BRDF映射到目标设备的BRDF色域；得到最终BRDF映射结果。本发明计算简便、内存消耗低、允许用户通过调整权重进行自适应控制。

公开(公告)号：CN116188666A

公开(公告)日：2023-05-30

申请号：CN202211593449.4

申请日：2022-12-13

Applicant: 南京大学

Inventor： 杨铭 ,  过洁 ,  郭延文

IPC: G06T15/50 ,  G06T15/55 ,  G06T17/20

Abstract: 本发明公开了一种实时渲染中光照探针自适应排布方法及装置，本发明包括实时渲染器和强化学习网络，实时渲染器根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；以及将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；强化学习网络基于光照渲染图像按照预设反馈函数计算反馈值；基于反馈值更新光照探针的位置坐标及自身策略；将更新后的光照探针位置坐标输入至实时渲染器；循环重复执行直至实时渲染器生成的光照渲染图像达到预设效果。本发明能够在光照探针数量有限的情况下，有效提升探针排布的效率和质量。

公开(公告)号：CN115131554A

公开(公告)日：2022-09-30

申请号：CN202210294774.4

申请日：2022-03-23

Applicant: 南京大学

Inventor： 郭延文 ,  杨洋 ,  张扬 ,  过洁

IPC: G06V10/26 ,  G06V10/774 ,  G06V20/00 ,  G06V10/40 ,  G06V10/56

Abstract: 本发明提供了一种基于多任务学习的室内RGBD图像语义分割算法，包括以下步骤：步骤1：收集RGBD图像数据集；步骤2：生成对应法向图；步骤3：提取多尺度图像特征；步骤4：提取深度图像多尺度深度特征；步骤5：形成融合特征；步骤6：辅助分支使用法向估计监督训练；步骤7：对融合特征进行上采样；步骤8：生成特定分辨率特征；步骤9：重复步骤7和步骤8，直到输出原分辨率大小特征；步骤10：预测图像语义信息，并监督训练；步骤11：引入空洞卷积池化金字塔模块；步骤12：将辅助任务分支改为语义分割监督并再次训练，增强了预测效果；本方法在语义分割任务上取得了极高的精度，而且适用性广泛，可适配不同任务组合，还可以应用于室内场景理解。

公开(公告)号：CN113033645A

公开(公告)日：2021-06-25

申请号：CN202110290784.6

申请日：2021-03-18

Applicant: 南京大学

Inventor： 赖水长 ,  过洁 ,  郭延文

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种RGB‑D图像的多尺度融合深度图像增强方法及装置。本发明包括：(1)通过双分支逐步融合的方案，使RGB图像和深度图像输入可以在深度预测中相互补充，用深度确保图像大体结构完整，用彩色填充缺失像素值；(2)通过分析真实数据的噪声分布，设计了一种混合多尺度损失函数，保证即使在真实图像数据有噪声的情况下，高质量的清晰图像仍旧可以生成。本发明能够合理利用RGB图像和深度图像各自的特征，确保彩色图像所得到的特征信息对深度图像的修复起到辅助作用，最终预测完整的深度图像，显著提高了深度图像的质量。

公开(公告)号：CN109740682B

公开(公告)日：2020-07-28

申请号：CN201910016055.4

申请日：2019-01-08

Applicant: 南京大学

Inventor： 韩旭 ,  张鸿杰 ,  过洁 ,  郭延文

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于域转化和生成模型的图像识别方法，包括以下步骤：步骤1：构造从源域到目标域的转换模型；步骤2：构造从目标域到源域的转换模型；步骤3：构造二分类判别模型；步骤4：构造生成器；步骤5：构造分类类别为K+1的分类模型，K为类别数目；步骤6：根据步骤1,2,3,4,5得到基于源域和目标域的分类模型；步骤7：根据步骤6中得到的模型就可以得到待分类图像的分类结果。