一种稀疏多视角动态人脸重建方法及装置

    公开(公告)号:CN118053189A

    公开(公告)日:2024-05-17

    申请号:CN202410130872.3

    申请日:2024-01-30

    Applicant: 清华大学

    Inventor: 徐枫 明鑫 雍俊海

    Abstract: 本发明公开了一种稀疏多视角动态人脸重建方法及装置,该方法,包括获取多视角的人脸视频;将人脸视频输入至变形后的人脸参数化几何模型以输出变形后的人脸几何;对人脸几何进行神经渲染和光栅化处理以得到多视角的神经渲染图像;对神经渲染图像和所述人脸视频中的图像进行逐像素的图像损失计算,并根据损失计算结果重建完整的人脸序列以完成动态人脸重建。本发明可以从稀疏多视角视频中重建高质量的人脸几何。

    一种基于二分类标签的人像物件的自动增删方法及装置

    公开(公告)号:CN113689324B

    公开(公告)日:2024-04-26

    申请号:CN202110761565.1

    申请日:2021-07-06

    Applicant: 清华大学

    Inventor: 徐枫 吕军锋

    Abstract: 本发明提出一种基于二分类标签的人像物件的自动增删方法方法和装置,其中,包括:接收人像物件的自动增删请求,确定人像物件的自动增删请求中包括的至少一种人像物件的类型;获取至少一张待修改的人脸图像和至少一张参考人脸图像;对待修改的人脸图像和参考人脸图像进行特征点检测;通过预先训练完成的神经网络中的类型的人像物件的增删模块,确定待修改的人脸图像和参考人脸图像对于类型的人像物件的二分类标签;根据待修改的人脸图像和参考人脸图像的人像物件特征确定所修改的人脸图像的目标人像物件增删方式,根据目标人像物件增删方式对待修改的人脸图像进行修改。本申请提出的方法可以自动化地增删对应的人像物件,便捷性高且训练成本低。

    人脸纹理重建方法、装置、电子设备及存储介质

    公开(公告)号:CN116993891A

    公开(公告)日:2023-11-03

    申请号:CN202310826365.9

    申请日:2023-07-06

    Applicant: 清华大学

    Inventor: 徐枫 明鑫 雍俊海

    Abstract: 本申请涉及人脸纹理重建技术领域,特别涉及一种人脸纹理重建方法、装置、电子设备及存储介质,其中,方法包括:获取待重建人脸的单张人脸图像;将单张人脸图像输入预先训练的生成模型,生成模型输出待重建人脸在多个视角下的人脸图像;根据多个视角下的人脸图像重建待重建人脸的人脸纹理。由此,解决了相关技术中使用重投影的方式对单张人脸图像的纹理进行重建的方法会受到遮挡的影响等问题。

    高质量纹理的实时重建方法及装置

    公开(公告)号:CN111754615B

    公开(公告)日:2023-06-23

    申请号:CN202010377514.4

    申请日:2020-05-07

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟 杨东

    Abstract: 本发明公开了一种高质量纹理的实时重建方法及装置,其中,该方法包括以下步骤:移动单个RGBD相机拍摄待测物体的多个角度,得到颜色图像序列;在颜色图像序列中筛选出符合预设条件的N个关键帧;通过深度神经网络对N个关键帧进行优化,输出N个关键帧优化过后的颜色图像;将N个关键帧优化过后的颜色图像反投影到待测物体的几何上,并进行加权平均处理,得到已拍摄部分的高质量纹理。该方法拍摄过程只需要单个RGBD相机,就能够实时重建静态物体的高质量纹理。

    三维人脸的非刚性配准方法及装置

    公开(公告)号:CN111145225B

    公开(公告)日:2023-06-06

    申请号:CN201911114894.6

    申请日:2019-11-14

    Applicant: 清华大学

    Abstract: 本发明公开了一种三维人脸的非刚性配准方法及装置,其中,方法包括以下步骤:通过结点驱动的网格变形方式,对输入的三维人脸模板进行非刚性形变,得到结点驱动的结果;为目标扫描建立一颗八叉树,并用于结点驱动的结果上的顶点沿着法向和目标模型求交;在迭代过程中,为模板上每个顶点沿着法向寻找在目标模型上的对应点,接以对应点作为约束,对模板网格进行拉普拉斯变形,直至满足预设迭代条件,获得与目标模型表面贴近的中间结果;根据中间结果,为每个顶点计算沿着法向的位移,得到模板上每个顶点的最终位置,得到最终非刚性配准结果。该方法可以使得配准的结果不仅较好地维持了模板的拓扑结构,同时能够捕捉目标模型的几何细节。

    三维几何重建方法、装置、电子设备及存储介质

    公开(公告)号:CN116152436A

    公开(公告)日:2023-05-23

    申请号:CN202310070689.4

    申请日:2023-01-13

    Applicant: 清华大学

    Inventor: 徐枫 凌精望

    Abstract: 本申请涉及三维计算机视觉技术领域,特别涉及一种三维几何重建方法、装置、电子设备及存储介质,其中,方法包括:采集目标在不同光照条件下的图像数据;识别图像数据中目标在不同光照条件下投射的阴影信息;基于阴影信息对目标的可见区域与不可见区域进行三维几何重建,得到以神经距离场表达的三维几何。由此,解决了相关技术中三维几何重建成本高、标定复杂且难以推广等问题。

    基于神经辐射场的变拓扑动态场景重建与编辑方法和装置

    公开(公告)号:CN116091705A

    公开(公告)日:2023-05-09

    申请号:CN202310283264.1

    申请日:2023-03-21

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟

    Abstract: 本申请提出了一种基于神经辐射场的变拓扑动态场景重建与编辑方法,包括:获取动态场景的单目视频;根据单目视频的图像序列识别动态场景的3D关键点,并使用光流与深度图像对3D关键点在图像序列中的位置进行初始化;将图像序列和3D关键点位置输入动态场景重建网络模型,并根据联合损失函数训练动态场景重建网络模型,对每一帧图像的3D关键点位置进行优化;利用经过优化的3D关键点位置对拓扑可变的动态场景进行建模,生成变拓扑动态场景;通过修改3D关键点位置对变拓扑动态场景进行编辑,生成变拓扑动态场景的新视角视频或图像。本申请能够使用3D关键点对拓扑可变的动态场景进行建模,并且能够通过控制3D关键点对动态场景进行编辑,操作简单直观。

    一种基于个性化学习的联邦学习方法及装置

    公开(公告)号:CN116010821A

    公开(公告)日:2023-04-25

    申请号:CN202310161824.6

    申请日:2023-02-23

    Applicant: 清华大学

    Inventor: 徐枫 唐瑞杰

    Abstract: 本申请提出了一种基于个性化学习的联邦学习方法及装置,涉及人工智能领域,包括:收集多个中心的数据,其中,各中心均采用ResNet50模型作为模型架构;分别拆分各中心的ResNet50模型,其中,ResNet50模型被拆分为数据层、任务层与特征层;所有中心共同参与联邦学习进行联合建模,确定各中心的个性化本地模型,其中,各中心的数据层和任务层在各自数据上进行本地训练,特征层在各自数据上完成本地训练后发送到云服务器进行聚合后再发回本地以更新本地的特征层;对各中心的个性化本地模型进行模型评估,确定评估结果。本申请通过拓展基于模型的个性化学习方法,不仅保护各个中心的数据隐私,各个中心也能处理不同的数据类型和任务,从而拓宽联邦学习的泛用性。

    手与物体交互过程的重建方法、装置、电子设备及介质

    公开(公告)号:CN115984482A

    公开(公告)日:2023-04-18

    申请号:CN202310071795.4

    申请日:2023-01-13

    Applicant: 清华大学

    Abstract: 本申请涉及三维重建技术领域,特别涉及一种手与物体交互过程的重建方法、装置、电子设备及介质,其中,方法包括:采集手与物体交互过程的视觉数据和压力数据,并对视觉数据进行手物交互重建,得到初始手物姿态,根据压力数据优化初始手物姿态包括的手的姿态参数和物体的六自由度位姿,得到最终手物姿态,以根据最终手物姿态得到手与物体交互过程的重建结果。由此,解决了手和物体在交互过程中发生相互遮挡,造成观测数据缺失的问题,从而提升重建过程的清晰度,得到更加准确的重建结果。

    中性表情正向人脸图片方法及装置

    公开(公告)号:CN109389551B

    公开(公告)日:2023-04-07

    申请号:CN201811167716.5

    申请日:2018-10-08

    Applicant: 清华大学

    Inventor: 徐枫 王至博

    Abstract: 本发明公开了一种中性表情正向人脸图片方法及装置,其中,该方法包括:通过人脸三维重建对数据集中的人脸图片进行处理,以获取人脸几何与人脸的反射属性;训练输入为人脸图片,且输出为中性人脸几何及其完整反射属性的深度神经网络;预训练生成最终正向中性人脸图片的网络,且在预训练时,使用训练集中的中性正向人脸图片提取出的中性人脸几何与完整反射属性作为输入,并将图片作为目标输出;将深度神经网络和生成最终正向中性人脸图片的网络协同并同时进行训练,以减小生成对抗误差。该方法可以生成具有真实感的中性正向人脸图片,仅需输入单张人脸图片,并且不受人脸图片的表情、面部角度和朝向的限制。

Patent Agency Ranking