-
公开(公告)号：CN111091624B
公开(公告)日：2021-09-28
申请号：CN201911320035.2
申请日：2019-12-19
Applicant: 南京大学
Abstract: 本发明公开一种从单幅图片生成高精度可驱动人脸三维模型的方法。该方法包括：使用大规模三维人脸数据库建立参数化模型，包括用于表示粗略外形的双线性模型和用于表示细节外形的置换贴图；使用数据库中的图片和置换贴图训练神经网络；输入单幅人脸图片，得到人脸双线性模型参数，进而得到图片中人脸对应的一套表情基模型；将得到的人脸纹理贴图和顶点位移图输入训练好的神经网络，得到关键表情的置换贴图；根据输入的驱动参数，将关键表情的置换贴图按照掩模局部加权叠加得到驱动参数对应表情的置换贴图，由此可以得到高精度的任意表情的人脸三维模型。本方法得到的三维人脸模型具有很高的精度，包含了毛孔级别的细节和表情变化导致的动态皱纹。
-
公开(公告)号：CN108510573B
公开(公告)日：2021-07-30
申请号：CN201810297845.X
申请日：2018-04-03
Applicant: 南京大学
Abstract: 本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法，属于计算机视觉领域。该方法包括：多光照多视点虚拟人脸图像生成；人脸正视图的深度图生成；多个独立并行的卷积神经网络训练；各视角权重分布的神经网络训练；将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图，再训练出各视角权重分布图继而进行深度融合，在保证效率的前提下提高了人脸三维重建模型的精度。
-
公开(公告)号：CN109255831B
公开(公告)日：2020-06-12
申请号：CN201811105233.2
申请日：2018-09-21
Applicant: 南京大学
Abstract: 本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法，属于计算机视觉领域。该方法包括：人脸三维模型渲染的特殊视点的选取；特殊视点下生成深度图、纹理图作为真值数据；设计深度信息与纹理信息特征共享的集成学习编码网络；设计由共享特征恢复出深度图的分支解码网络，恢复出深度图；设计由共享特征作为潜变量的互信息最大化生成对抗网络，恢复出纹理展开图；调整各任务损失函数的比例，训练模型；将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移，具有速度快、成本低等优势。
-
Patent Agency Ranking
公开(公告)号：CN110798673B
公开(公告)日：2021-03-19
申请号：CN201911106557.2
申请日：2019-11-13
Applicant: 南京大学
IPC: H04N13/111 , H04N13/239 , H04N13/246 , H04N13/296
Abstract: 本发明公开了一种基于深度卷积神经网络的自由视点视频生成及交互方法。具体步骤包括：利用配套搭建的多相机阵列同步拍摄系统对目标场景进行多视点数据的采集，获得多视点下的同步视频帧序列组，然后批量进行像素级别的基线校准；利用设计训练好的深度学习卷积神经网络模型，通过编码和解码网络结构，对每组输入视点图像进行特征提取，获得场景的深度特征信息，结合输入图像分别生成每一个时刻的每一组相邻物理视点之间的虚拟视点图像；将所有视点按时刻以及视点的空间位置通过矩阵拼接的方式合成自由视点视频帧。本发明方法无需进行相机标定以及深度图的计算，很大程度上降低了虚拟视点生成的计算量，并且一定程度提升了虚拟视点图像质量。
-
公开(公告)号：CN111091624A
公开(公告)日：2020-05-01
申请号：CN201911320035.2
申请日：2019-12-19
Applicant: 南京大学
Abstract: 本发明公开一种从单幅图片生成高精度可驱动人脸三维模型的方法。该方法包括：使用大规模三维人脸数据库建立参数化模型，包括用于表示粗略外形的双线性模型和用于表示细节外形的置换贴图；使用数据库中的图片和置换贴图训练神经网络；输入单幅人脸图片，得到人脸双线性模型参数，进而得到图片中人脸对应的一套表情基模型；将得到的人脸纹理贴图和顶点位移图输入训练好的神经网络，得到关键表情的置换贴图；根据输入的驱动参数，将关键表情的置换贴图按照掩模局部加权叠加得到驱动参数对应表情的置换贴图，由此可以得到高精度的任意表情的人脸三维模型。本方法得到的三维人脸模型具有很高的精度，包含了毛孔级别的细节和表情变化导致的动态皱纹。
-
公开(公告)号：CN110798673A
公开(公告)日：2020-02-14
申请号：CN201911106557.2
申请日：2019-11-13
Applicant: 南京大学
IPC: H04N13/111 , H04N13/239 , H04N13/246 , H04N13/296
Abstract: 本发明公开了一种基于深度卷积神经网络的自由视点视频生成及交互方法。具体步骤包括：利用配套搭建的多相机阵列同步拍摄系统对目标场景进行多视点数据的采集，获得多视点下的同步视频帧序列组，然后批量进行像素级别的基线校准；利用设计训练好的深度学习卷积神经网络模型，通过编码和解码网络结构，对每组输入视点图像进行特征提取，获得场景的深度特征信息，结合输入图像分别生成每一个时刻的每一组相邻物理视点之间的虚拟视点图像；将所有视点按时刻以及视点的空间位置通过矩阵拼接的方式合成自由视点视频帧。本发明方法无需进行相机标定以及深度图的计算，很大程度上降低了虚拟视点生成的计算量，并且一定程度提升了虚拟视点图像质量。
-
公开(公告)号：CN109255831A
公开(公告)日：2019-01-22
申请号：CN201811105233.2
申请日：2018-09-21
Applicant: 南京大学
Abstract: 本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法，属于计算机视觉领域。该方法包括：人脸三维模型渲染的特殊视点的选取；特殊视点下生成深度图、纹理图作为真值数据；设计深度信息与纹理信息特征共享的集成学习编码网络；设计由共享特征恢复出深度图的分支解码网络，恢复出深度图；设计由共享特征作为潜变量的互信息最大化生成对抗网络，恢复出纹理展开图；调整各任务损失函数的比例，训练模型；将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移，具有速度快、成本低等优势。
-
公开(公告)号：CN108510573A
公开(公告)日：2018-09-07
申请号：CN201810297845.X
申请日：2018-04-03
Applicant: 南京大学
Abstract: 本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法，属于计算机视觉领域。该方法包括：多光照多视点虚拟人脸图像生成；人脸正视图的深度图生成；多个独立并行的卷积神经网络训练；各视角权重分布的神经网络训练；将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图，再训练出各视角权重分布图继而进行深度融合，在保证效率的前提下提高了人脸三维重建模型的精度。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.014 seconds)
