发明公开
- 专利标题: 基于哈希编码的数字人头部重建方法、系统、设备及介质
-
申请号: CN202311634870.X申请日: 2023-11-30
-
公开(公告)号: CN117893650A公开(公告)日: 2024-04-16
- 发明人: 丁一 , 吴庆耀 , 黄欣怡 , 黄海亮 , 钟晓静 , 白剑 , 梁瑛玮 , 张海林 , 鲁和平 , 李长杰 , 陈焕然 , 李乐 , 王浩 , 洪行健 , 冷冬 , 李尚然
- 申请人: 易方信息科技股份有限公司
- 申请人地址: 广东省广州市番禺区大学城中心北大街66号402室
- 专利权人: 易方信息科技股份有限公司
- 当前专利权人: 易方信息科技股份有限公司
- 当前专利权人地址: 广东省广州市番禺区大学城中心北大街66号402室
- 代理机构: 广州帮专高智知识产权代理事务所
- 代理商 颜德昊
- 主分类号: G06T13/40
- IPC分类号: G06T13/40 ; G06N3/0455 ; G06N3/0464 ; G06N3/0499 ; G06N3/08 ; G06T15/00
摘要:
本发明提出了一种基于哈希编码的数字人头部重建方法、系统、设备及介质,方法包括:采集数字人头部的视频数据集以获取姿态参数、相机内参和表情参数;选取表情参数至少两帧作为关键帧,检测2D关键点并提升至3D坐标;构建支持头部信息编码的多级哈希表和赋予表情语义的多尺度哈希表关联的表达式库,重建头部的神经辐射场网络;在视频数据集上迭代训练哈希表和神经辐射场网络,通过姿态和视角的渲染后生成数字人头部驱动结果。本发明通过引入哈希编码和神经辐射场,能够快速学习RGB信息,基于2D域到3D域的映射,缩短数字人头部建模时间,提高建模质量。