-
公开(公告)号:CN116051696A
公开(公告)日:2023-05-02
申请号:CN202310035290.2
申请日:2023-01-10
Applicant: 之江实验室
Abstract: 本发明公开了一种可重光照的人体隐式模型的重建方法和装置,将人体表示为可变形的隐式神经表示,并分解人体的几何形状、材质属性以及环境照明,以获得一个可重光照和可驱动的隐式人体模型。此外,还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明,并引入了能伴随人体姿态变化而改变位置的可见性探针,来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下,都可以生成可以用于高保真人体重光照的隐式可驱动模型。
-
公开(公告)号:CN116051696B
公开(公告)日:2023-12-22
申请号:CN202310035290.2
申请日:2023-01-10
Applicant: 之江实验室
Abstract: 本发明公开了一种可重光照的人体隐式模型的重建方法和装置,将人体表示为可变形的隐式神经表示,并分解人体的几何形状、材质属性以及环境照明,以获得一个可重光照和可驱动的隐式人体模型。此外,还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明,并引入了能伴随人体姿态变化而改变位置的可见性探针,来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下,都可以生成可以用于高保真人体重光照的隐式可驱动模型。
-
公开(公告)号:CN115496863A
公开(公告)日:2022-12-20
申请号:CN202211354722.8
申请日:2022-11-01
Applicant: 之江实验室
Abstract: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。
-
公开(公告)号:CN115496863B
公开(公告)日:2023-03-21
申请号:CN202211354722.8
申请日:2022-11-01
Applicant: 之江实验室
Abstract: 本发明涉及影视创作领域,公开一种用于影视智能创作的情景互动的短视频生成方法和系统,通过预训练的跨模态文本‑图像匹配模型和预训练的语言模型,可以实现场景图片和动作序列的匹配筛选;基于三维深度估计算法,计算出场景图像对应的深度信息,并通过预设的相机内参,估计出该场景图对应的三维信息;基于smpl‑x人体模型,对用户上传的人体进行参数估计和纹理贴图,获取带纹理的人体模型;通过估计的三维信息、动作序列、带纹理的人体模型、场景图片,合成互动者融于该场景图片的短视频。本发明可有效应用于当前影视创作中的分镜稿、故事版及预演动画等智能化生成工作,对影视创造的流程具体革新作用。
-
-
-