-
公开(公告)号：CN118212337A
公开(公告)日：2024-06-18
申请号：CN202410626849.3
申请日：2024-05-21
Applicant: 哈尔滨工业大学(威海) , 清华大学
Abstract: 本发明公开了基于像素对齐3D高斯点云表示的人体新视点渲染方法，包括以下步骤：给定目标视点，在源视点中选择两个相邻视点并对其进行立体校正；对两个源视点图像进行特征提取并估计源视点深度；将3D高斯点云定义在源视点二维图像平面并；将多尺度的图像特征和深度特征融合，像素对齐的高斯特征分别解码为旋转特征图，尺度特征图和透明度特征图；将定义在两个视点的高斯特征图逆投影到三维空间中，渲染到目标视点得到最终渲染结果；通过最小化该误差训练神经网络，学习模型参数。本发明所提出的像素对齐3D高斯点云表示，极大程度提升稀疏视点下人体新视点生成的质量和效率。
-
公开(公告)号：CN118196307A
公开(公告)日：2024-06-14
申请号：CN202410605128.4
申请日：2024-05-16
Applicant: 哈尔滨工业大学(威海) , 清华大学
Abstract: 本发明公开了基于可驱动高斯点云的单目人体数字化身建模方法，包括以下步骤：从人物视频中估计人体SMPL模型序列和拍摄相机的位姿；提取视频中人体的掩膜得到只包含该人物形象的序列；定义人体高斯点云属性，并将其绑定在人体SMPL模型表面；记录定义在人体SMPL模型上高斯点云的位置UV图并预测每一个高斯渲染单元的属性；通过预测的人体SMPL模型姿态驱动高斯点云；将驱动后的高斯点云渲染成图片；以目标人物形象图片作为监督约束，学习网络模型参数和姿态修正量。本发明通过采用可驱动高斯点云的设计，实现了人体数字化身在实时驱动方面的高度真实感。通过外观和姿态的联合优化，进一步提升了人体建模质量和姿态估计的准确性。
-
公开(公告)号：CN108665537A
公开(公告)日：2018-10-16
申请号：CN201810460079.4
申请日：2018-05-15
Applicant: 清华大学 , 清华大学深圳研究生院
Abstract: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统，其中，方法包括以下步骤：对人体进行深度图拍摄，以得到单张深度图像；将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点对建立能量函数，并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数；对能量函数进行求解，并根据求解结果将重建模型与三维点云进行对齐；通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
-
公开(公告)号：CN108711185A
公开(公告)日：2018-10-26
申请号：CN201810460091.5
申请日：2018-05-15
Applicant: 清华大学 , 清华大学深圳研究生院
CPC classification number: G06T17/00 , G06T7/521 , G06T2207/10012
Abstract: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置，其中，方法包括：对目标对象进行基于深度相机的拍摄得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；获取三维点云和重建模型顶点之间的匹配点对；根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；获得当前帧的更新后的模型，以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
-
公开(公告)号：CN108711185B
公开(公告)日：2021-05-28
申请号：CN201810460091.5
申请日：2018-05-15
Applicant: 清华大学 , 清华大学深圳研究生院
Abstract: 本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置，其中，方法包括：对目标对象进行基于深度相机的拍摄得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；获取三维点云和重建模型顶点之间的匹配点对；根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；获得当前帧的更新后的模型，以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
-
Patent Agency Ranking
公开(公告)号：CN108665537B
公开(公告)日：2020-09-25
申请号：CN201810460079.4
申请日：2018-05-15
Applicant: 清华大学 , 清华大学深圳研究生院
Abstract: 本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统，其中，方法包括以下步骤：对人体进行深度图拍摄，以得到单张深度图像；将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点对建立能量函数，并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数；对能量函数进行求解，并根据求解结果将重建模型与三维点云进行对齐；通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
-
公开(公告)号：CN119027566A
公开(公告)日：2024-11-26
申请号：CN202411131952.7
申请日：2024-08-16
Applicant: 京东方科技集团股份有限公司 , 清华大学
Abstract: 本公开提供一种全息视点生成方法、系统、计算机存储介质及电子设备，属于计算机视觉技术领域，其可解决现有的渲染算法的效率过低，不能满足实时要求的问题。本公开的全息视点生成方法包括生成粗糙的立体对象，根据目标视点确定两个参考视点，并将两个参考视点所对应的姿态图像矫正至位于同一水平面，渲染出两参考视点的粗糙深度图，并进一步转化为粗糙的第一视差图和第二视差图；利用第一神经网络模型优化出精细的第三视差图和第四视差图，并反投影为三维点云，最后将三维点云颜色投影到目标视点上，并利用第二神经网络模型补全优化渲染结果，得到最终的目标视点图像。本公开可用于准确估计立体对象，实时渲染对象新视点。
-
公开(公告)号：CN118261811A
公开(公告)日：2024-06-28
申请号：CN202410410239.X
申请日：2024-04-07
Applicant: 清华大学
IPC: G06T5/50 , G06T5/80 , G06V10/774 , G06V10/74
Abstract: 本申请提出基于高斯泼溅的大基线多人新视点渲染方法及系统，所述方法包括：获取多个目标视点，并利用多台相机采集多人图像构成多个图像对，然后对多个图像对分别进行立体校正，得到多个第二图像对；将多个第二图像对分别输入到预先训练好的视差预测模型中，得到各所述第二图像对的预测视差图；确定各所述第二图像对的深度图，并将各所述深度图和各第二图像对分别输入到预先训练好的高斯点参数预测模型中，得到各所述第二图像对的高斯点预测参数图及高斯点对应的颜色；确定各第二图像对的高斯点云，并基于各高斯点云分别对多个所述目标视点进行渲染，多个渲染图像。本申请提出的技术方案，结合估计深度和高斯泼溅渲染可以达到高效快速渲染的目的。
-
公开(公告)号：CN118154757A
公开(公告)日：2024-06-07
申请号：CN202410271814.2
申请日：2024-03-11
Applicant: 清华大学
Abstract: 本申请提出了一种基于神经辐射场的单图像非漫反射场景三维渲染方法，涉及计算机视觉技术领域，其中，该方法包括：建立非漫反射场景的RGB图像对应的双色反射模型；建立条件扩散模型，以非漫反射场景的RGB图像作为模型输入，输出场景几何估计和双色反射模型对应的场景表面光照反射估计；基于场景表面光照反射估计及场景几何估计构建非漫反射场景下的神经辐射场；通过神经体渲染模型利用构建的神经辐射场对非漫反射场景进行新视点渲染，得到渲染图像。采用上述方案的本发明实现了对单图像非漫反射场景的真实感三维渲染。
-
公开(公告)号：CN117876434A
公开(公告)日：2024-04-12
申请号：CN202410189857.6
申请日：2024-02-20
Applicant: 清华大学
IPC: G06T7/269 , G06N3/0464 , G06T7/90 , G06T15/20 , G06T15/00
Abstract: 本发明提供了一种基于多级光流估计和神经渲染的人体全息视点生成方法，通过多级光流的方法，利用视差较小的图像进行估计，得到相对稳定的初值，利用初值进行辅助，估计大视差图像的光流，从而显著提高估计得到的光流以及后续生成的全息视点图像的鲁棒性；同时利用神经渲染技术，增强生成图像的质量，利于后续的展示和观看。本发明适用于稀疏多RGB传感器布置下的高质量实时人体半身全息视点生成。通过本发明，能够对于大视差图像实现稳定、鲁棒的计算。
-
-
-
-
-
-
-
-
-
Search Results
233
records
(took 0.038 seconds)
