公开(公告)号：CN117036157B

公开(公告)日：2024-02-20

申请号：CN202311296424.2

申请日：2023-10-09

申请人： 易方信息科技股份有限公司

发明人： 丁一 ,  吴庆耀 ,  刘梦瑶 ,  黄海亮 ,  钟晓静 ,  白剑 ,  梁瑛玮 ,  张海林 ,  鲁和平 ,  李长杰 ,  陈焕然 ,  李乐 ,  王浩 ,  洪行健 ,  冷冬 ,  李尚然

IPC分类号： G06T3/04 ,  G06N3/048 ,  G06T13/40 ,  G06T15/04 ,  G06T15/55

摘要： 本发明提出了一种可编辑的仿真数字人形象设计方法、系统、设备及介质，方法包括：采集头部图像数据集以及妆容图像数据集；分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型：基于头部图像数据集迭代训练头部参数化模型；基于妆容图像数据集迭代训练妆容迁移模型；将目标人像图和样式人像图输入头部参数化模型，获得目标视角下的目标渲染图；将目标渲染图和目标妆容图输入妆容迁移模型的，输出配置妆容后的渲染人像图；基于目标渲染图和渲染人像图，完成个性化仿真数字人形象以及仿真数字人的妆容形象设计。本发明可进行实时渲染编辑，提高渲染质量和渲染效率，在仿真数字人(56)对比文件WO 2023273247 A1,2023.01.05林剑楚 等.一种高保真人脸图像妆容移植方法.计算机应用与软件.2015,第187-189、210页.洪阳.高保真虚拟数字人的表示与重建.中国博士学位论文全文数据库 信息科技辑.2023,第I138-32页.张凤全 等.一种面向戏曲妆容细节生成的风格迁移网络.系统仿真学报.2023,第2064-2076页.

公开(公告)号：CN117893650A

公开(公告)日：2024-04-16

申请号：CN202311634870.X

申请日：2023-11-30

申请人： 易方信息科技股份有限公司

发明人： 丁一 ,  吴庆耀 ,  黄欣怡 ,  黄海亮 ,  钟晓静 ,  白剑 ,  梁瑛玮 ,  张海林 ,  鲁和平 ,  李长杰 ,  陈焕然 ,  李乐 ,  王浩 ,  洪行健 ,  冷冬 ,  李尚然

IPC分类号： G06T13/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08 ,  G06T15/00

摘要： 本发明提出了一种基于哈希编码的数字人头部重建方法、系统、设备及介质，方法包括：采集数字人头部的视频数据集以获取姿态参数、相机内参和表情参数；选取表情参数至少两帧作为关键帧，检测2D关键点并提升至3D坐标；构建支持头部信息编码的多级哈希表和赋予表情语义的多尺度哈希表关联的表达式库，重建头部的神经辐射场网络；在视频数据集上迭代训练哈希表和神经辐射场网络，通过姿态和视角的渲染后生成数字人头部驱动结果。本发明通过引入哈希编码和神经辐射场，能够快速学习RGB信息，基于2D域到3D域的映射，缩短数字人头部建模时间，提高建模质量。

公开(公告)号：CN117036581B

公开(公告)日：2024-02-13

申请号：CN202311296342.8

申请日：2023-10-09

申请人： 易方信息科技股份有限公司 ,  华南理工大学

发明人： 吴庆耀 ,  丁一 ,  张妮 ,  黄海亮 ,  钟晓静 ,  白剑 ,  梁瑛玮 ,  张海林 ,  鲁和平 ,  李长杰 ,  陈焕然 ,  李乐 ,  王浩 ,  洪行健 ,  冷冬 ,  李尚然

IPC分类号： G06T15/55 ,  G06N3/0464 ,  G06T3/4046 ,  G06T3/4076

摘要： 本发明提出了一种基于二维神经渲染的体渲染方法、系统、设备及介质，方法包括：获取高‑低分辨率图像对数据集；基于若干个体素进行三维场景的表达，通过线性插值获取三维场景中任意连续位置的特征值；将确定原点以及视角方向的光线投射于三维场景中，基于体渲染获取像素点的颜色信息并生成特征图；基于高‑低分辨率图像对数据集迭代训练二维神经超分模型；将特征图作为二维神经超分模型的输入，输出所述像素点的目标颜色值。本发明提出的基于体渲染和二维神经渲染相结合的渲染方法，将体渲染与二维神经渲染相结合，大幅度提升了原始体渲染的(56)对比文件Xudong Huang et al.RefSR-NeRF:Towards High Fidelity and SuperResolution View Synthesis.Computer VisionFoundation.2023,第8244- 8253页.

公开(公告)号：CN117036581A

公开(公告)日：2023-11-10

申请号：CN202311296342.8

申请日：2023-10-09

申请人： 易方信息科技股份有限公司 ,  华南理工大学

发明人： 吴庆耀 ,  丁一 ,  张妮 ,  黄海亮 ,  钟晓静 ,  白剑 ,  梁瑛玮 ,  张海林 ,  鲁和平 ,  李长杰 ,  陈焕然 ,  李乐 ,  王浩 ,  洪行健 ,  冷冬 ,  李尚然

IPC分类号： G06T15/55 ,  G06N3/0464 ,  G06T3/40

摘要： 本发明提出了一种基于二维神经渲染的体渲染方法、系统、设备及介质，方法包括：获取高‑低分辨率图像对数据集；基于若干个体素进行三维场景的表达，通过线性插值获取三维场景中任意连续位置的特征值；将确定原点以及视角方向的光线投射于三维场景中，基于体渲染获取像素点的颜色信息并生成特征图；基于高‑低分辨率图像对数据集迭代训练二维神经超分模型；将特征图作为二维神经超分模型的输入，输出所述像素点的目标颜色值。本发明提出的基于体渲染和二维神经渲染相结合的渲染方法，将体渲染与二维神经渲染相结合，大幅度提升了原始体渲染的渲染速度，渲染的视觉效果也更加逼真。

公开(公告)号：CN117036157A

公开(公告)日：2023-11-10

申请号：CN202311296424.2

申请日：2023-10-09

申请人： 易方信息科技股份有限公司

发明人： 丁一 ,  吴庆耀 ,  刘梦瑶 ,  黄海亮 ,  钟晓静 ,  白剑 ,  梁瑛玮 ,  张海林 ,  鲁和平 ,  李长杰 ,  陈焕然 ,  李乐 ,  王浩 ,  洪行健 ,  冷冬 ,  李尚然

IPC分类号： G06T3/00 ,  G06N3/048 ,  G06T13/40 ,  G06T15/04 ,  G06T15/55

摘要： 本发明提出了一种可编辑的仿真数字人形象设计方法、系统、设备及介质，方法包括：采集头部图像数据集以及妆容图像数据集；分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型：基于头部图像数据集迭代训练头部参数化模型；基于妆容图像数据集迭代训练妆容迁移模型；将目标人像图和样式人像图输入头部参数化模型，获得目标视角下的目标渲染图；将目标渲染图和目标妆容图输入妆容迁移模型的，输出配置妆容后的渲染人像图；基于目标渲染图和渲染人像图，完成个性化仿真数字人形象以及仿真数字人的妆容形象设计。本发明可进行实时渲染编辑，提高渲染质量和渲染效率，在仿真数字人形象设计上实现高度自由的可编辑功能。