-
公开(公告)号：CN120032025A
公开(公告)日：2025-05-23
申请号：CN202510181072.9
申请日：2025-02-18
Applicant: 浙江大学
Abstract: 本发明提出了一种人体头部动态三维高斯模型的实时在线构建方法。该方法是通过三维高斯的批量渲染，能够大大提高训练吞吐量，使得模型达到几乎实时的收敛速率；另外设计了一种适用于在线建模的局部‑全局结合的数据样本采样算法，通过局部采样快速拟合新输入的训练样本，并使用全局采样缓解模型遗忘问题，从而达到与离线建模相近的重建质量。相比于之前的方法，本发明不需要任何预处理或后处理就可以实时在线构建三维高斯人脸模型。另外，在线建模可以在数据获取的同时给用户提供实时反馈，能够提供更好的用户体验。在重建后，模型即可用于合成新表情下的高保真人体头部动画；在电影、动画制作，网络游戏以及远程会议中可以广泛应用。
-
公开(公告)号：CN117808927A
公开(公告)日：2024-04-02
申请号：CN202311653799.X
申请日：2023-12-05
Applicant: 浙江大学
IPC: G06T11/60 , G06T7/73 , G06N3/088 , G06F40/126 , G06F40/166
Abstract: 本发明公开了一种支持多模态输入的3D姿态生成与编辑的方法，该方法是利用多头向量自编码器结构和全局‑局部特征融合结构，将人体姿态压缩进入表达力丰富且容易进行多模态融合的隐空间；在多头向量自编码器结构中将特征编码为离散向量，在全局‑局部特征融合结构中解耦了多个人体部位，同时通过一个全局特征对局部特征进行约束。基于这两个构架，构建了一套高自由度、高正确性、高可控性的显式人体姿态先验模型以及配套的多模态整合模型。本发明解决了人体姿态数据难以拆分和编码成表达能力丰富的离散向量的挑战，能够高效率、高质量地进行人体姿态编辑并赋能各类围绕人的AIGC场景，包括对虚拟数字人的驱动以及更高可控性的图片生成。
-
公开(公告)号：CN120032026A
公开(公告)日：2025-05-23
申请号：CN202510181898.5
申请日：2025-02-18
Applicant: 浙江大学
IPC: G06T13/40 , G06T17/20 , G06T15/00 , G06T15/04 , G06V10/774 , G06V20/40 , G06T7/80 , G06T7/20 , G06T7/194 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种适用于人体头部动画建模的简约高斯混合形状方法，包括训练图像采集和预处理、简约高斯混合形状的训练以及人体头部动画生成。所述简约高斯混合形状由一个中性模型、多个简化的基表情模型和一个多层感知机组成。每个中性模型和简化的基表情模型均由一组对应的三维高斯组成，每个三维高斯包括位置、旋转、尺寸、不透明度与颜色五个属性，任意表情的人体头部模型均可通过简约高斯混合形状合成，并渲染出头部动画。本发明相比于同类技术有更高的绘制质量，能保留人体头部更多高频细节，提升绘制的真实感和保真度；且具有更快的训练速度、运行速度与更高的存储效率。因此，可以广泛应用于电影、动画等相关的制作，具有很高的实用价值。
-
公开(公告)号：CN118172491A
公开(公告)日：2024-06-11
申请号：CN202410435218.3
申请日：2024-04-11
Applicant: 浙江大学
IPC: G06T17/00 , G06V40/16 , G06N3/088 , G06N3/0455 , G06T19/20
Abstract: 本发明公开了一种基于文本输入的3D姿态生成与编辑的方法，该方法通过构建一个不同范式的端到端模型，利用前端大型语言模型将抽象语言提示转换为具体的中间表征(输入后端；后端优化处理中间表征由量化离散人体姿态先验及一种创新的量化离散隐空间优化器组成，以在人体姿态先验隐空间中以一种鲁棒的方式搜索最符合的姿态；借助于大语言模型广泛的知识，以及后端的鲁棒性，这克服了传统端到端模型面临的文本输入理解能力缺陷和泛化能力缺陷，显著改善了姿态生成这一基础且复杂任务的效率以及操作门槛。同时，还实现了基于语言的手势、表情生成和编辑，填补了人体姿态生成模型在表情和手势上的空缺，大大增强了生成和编辑结果的真实性和生动性。
-
-
-
Search Results
4
records
(took 0.015 seconds)
