根据视角变化的人脸三维模型建立方法及装置

    公开(公告)号:CN109887076B

    公开(公告)日:2021-02-12

    申请号:CN201910137697.X

    申请日:2019-02-25

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟 杨东

    Abstract: 本发明公开了一种根据视角变化的人脸三维模型建立方法及装置,其中,该方法包括以下步骤:输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;利用混合形状的系数将对应角色脸部的数据进行表达,并构造势能函数对混合形状进行求解,以获得混合形状组成的矩阵完成人脸模型建立;根据输入的视角得到人脸模型中各个混合形状的系数,并对人脸模型进行变形得到人脸网络模型;利用渲染引擎对人脸网络模型进行渲染,以得到对应视角的人脸图像。该方法能够根据视角来改变三维人脸几何,使用网格与混合形状的表达方法,兼容现有渲染引擎,同时其计算量小,易达到实时。

    基于注意力机制的脑梗死医学影像分类模型的训练方法

    公开(公告)号:CN112102266A

    公开(公告)日:2020-12-18

    申请号:CN202010898527.6

    申请日:2020-08-31

    Abstract: 本发明提出一种基于注意力机制的脑梗死医学影像分类模型的训练方法,包括:获取训练样本集,训练样本集中包括多个已标注的脑部医学影像三维序列图;将训练样本集输入至预设的卷积神经网络模型中,并从卷积神经网络模型获取与脑部医学影像三维序列图对应的特征图,卷积神经网络模型中包括注意力模块,注意力模块用于对脑部医学影像三维序列图所包含的特征信息进行筛选;将特征图输入至卷积神经网络模型的分类器中进行训练,基于焦点损失函数更新卷积神经网络模型的参数,当更新参数后的卷积神经网络模型收敛时,确定卷积神经网络模型训练完成,输出卷积神经网络模型。本发明能够使得训练得到的分类模型具有更好的分类表现,提高分类的准确率。

    基于深度学习的人脸三维特征点检测方法及系统

    公开(公告)号:CN109902616B

    公开(公告)日:2020-12-01

    申请号:CN201910138641.6

    申请日:2019-02-25

    Applicant: 清华大学

    Inventor: 徐枫 王至博 杨东

    Abstract: 本发明公开了一种基于深度学习的人脸三维特征点检测方法及系统,其中,该方法包括:建立人脸数据集,通过人脸三维重建对人脸数据集中的人脸图片进行处理获取人脸几何;在人脸模板上标定特定顶点为特征点,建立人脸图片与其对应的人脸三维特征点构成的数据集;训练输入为人脸图片,且输出为人脸三维特征点坐标的分布热度图的深度神经网络;训练时采用生成对抗网络以利用鉴别网络,输入为人脸图片和三维特征点分布热度图,输出真假值表示输入的人脸图片和三维特征点分布热度图是否配套,以通过训练后的神经网络得到检测结果。该方法可以检测图片中人脸特征点的三维坐标,且人脸边缘点与人脸模型之间具有很强的联系,使得人脸重建结果更为准确。

    手与物体交互过程的实时重建方法及装置

    公开(公告)号:CN110007754B

    公开(公告)日:2020-08-28

    申请号:CN201910169262.3

    申请日:2019-03-06

    Applicant: 清华大学

    Inventor: 徐枫 张浩 杨东

    Abstract: 本发明公开了一种手与物体交互过程的实时重建方法及装置,其中,方法包括以下步骤:对待处理深度图像数据进行数据分割得到手与物体分割结果,且获得手势姿态预测数据,其中,手与物体分割结果包括物体数据和手部数据;将预测数据和手与物体分割作为约束项对统一能量函数进行优化,以得到手部运动序列和物体非刚性运动序列;将物体数据融合到物体模型得到物体静态模型,并根据手部运动序列、物体非刚性运动序列和物体静态模型得到手与物体交互过程的实时重建结果。该方法可以有效解决手与物体交互运动的实时重建问题,实时获得手的运动、物体的运动和物体的几何模型。

    基于深度学习和真实感渲染的人脸图片高光去除方法

    公开(公告)号:CN111583128A

    公开(公告)日:2020-08-25

    申请号:CN202010275587.2

    申请日:2020-04-09

    Applicant: 清华大学

    Inventor: 徐枫 王至博 杨东

    Abstract: 本发明公开了一种基于深度学习和真实感渲染的人脸图片高光去除方法,包括:通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型;利用高精度人脸三维模型渲染逼真人脸图片,并在渲染时分别渲染得到图片中的高光分量和漫反射分量;利用渲染出的逼真人脸图片以及高光分量和漫反射分量作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络;将待处理人脸图片输入人脸图片高光去除网络,通过人脸图片高光去除网络提取出待处理人脸图片中的漫反射分量,进而得到高光去除后的人脸图片。该方法可以对各种人脸图片进行处理,不受人脸表情,人脸朝向和环境光照的影响。

    戴眼镜人脸图像眼镜三维重建方法及装置

    公开(公告)号:CN111145334A

    公开(公告)日:2020-05-12

    申请号:CN201911114240.3

    申请日:2019-11-14

    Applicant: 清华大学

    Inventor: 徐枫 王雅婷 杨东

    Abstract: 本发明公开了一种戴眼镜人脸图像眼镜三维重建方法及装置,其中,方法包括以下步骤:根据人脸图像截取眼部区域,并通过边缘检测方法检测眼部区域边缘,以检测镜框边缘;利用人脸姿态为先验,对齐镜框边缘至正面,提取镜框边缘;利用正面镜框像素驱动眼镜三维模板拉普拉斯变形,得到最终眼镜三维重建结果。该方法可以从戴眼镜人脸彩色图像中三维重建眼镜,且能从任意来源、任意姿态的人脸图片中,三维重建出任意形状的眼镜,简单易实现。

    基于随机生成样本的图像畸变评价网络训练方法及装置

    公开(公告)号:CN110728661A

    公开(公告)日:2020-01-24

    申请号:CN201910884472.0

    申请日:2019-09-18

    Abstract: 本发明公开了一种基于随机生成样本的图像畸变评价网络训练方法及装置,其中,该方法包括:获取RGB图像和待评价任务图像,通过随机算法生成随机畸变,利用随机畸变和RGB图像中生成畸变RGB图像;通过畸变RGB图像训练深度神经网络生成图像畸变评价网络;将待评价任务图像输入图像畸变评价网络,输出待评价任务图像中各区域的畸变强度。该方法可以根据图片的语义信息判断图片的畸变,减轻训练过程中对于真实数据的依赖,训练使用的数据集中的畸变为随机生成的,易获得且具有随机性,可以解决训练过程中过拟合的问题。

    基于缺血性脑卒中MRI检测标记进行病灶分割的方法及装置

    公开(公告)号:CN110728660A

    公开(公告)日:2020-01-24

    申请号:CN201910882536.3

    申请日:2019-09-18

    Abstract: 本发明公开了一种基于缺血性脑卒中MRI检测标记进行病灶分割的方法及装置,其中,方法包括:对核磁共振成像图像进行超像素分割生成多个超像素,选取亮度值大于预设亮度值的超像素组成候选超像素集合,进一步生成预设亮度值对应的候选mask图,改变预设亮度值,生成不同亮度值对应的候选mask图;通过训练集样本训练深度卷积神经网络生成候选mask判别网络,通过判别网络对多个候选mask图进行评分,选取评分最高的候选mask图;通过评分最高的候选mask图对图像分割网络进行训练。该方法利用核磁共振DWI序列中缺血性脑卒中区域的图像特点,仅使用对缺血性脑卒中区域进行边界框标记的训练数据集,对病灶区域进行细致分割。

    基于深度学习的手语翻译视频生成方法及系统

    公开(公告)号:CN110728203A

    公开(公告)日:2020-01-24

    申请号:CN201910900738.6

    申请日:2019-09-23

    Abstract: 本发明公开了一种基于深度学习的手语翻译视频生成方法及系统,其中,该方法包括:通过数据集的手语视频循环训练变分自编码器模型和环状生成对抗网络模型,直至达到预设维度,输出图像低维特征序列;通过数据集的语言文本序列训练语言翻译模型,输出与图像低维特征序列对应的文本低维特征序列,以构建语言文本序列与手语视频的映射关系;基于映射关系,将待测语言文本序列输入语言翻译模型,映射出待测语言文本序列对应的图像低维特征序列,视频模型解码图像低维特征序列,生成对应的手语视频。本发明实施例的方法通过构建压缩隐空间来对图像进行降维处理,解决视频生成问题对计算机存储与计算能力的极高要求,可以使用通用语言模型进行翻译训练。

    边缘信息辅助精细三维人脸重建方法及系统

    公开(公告)号:CN109920049A

    公开(公告)日:2019-06-21

    申请号:CN201910143041.9

    申请日:2019-02-26

    Applicant: 清华大学

    Inventor: 徐枫 王雅婷 杨东

    Abstract: 本发明公开了一种边缘信息辅助精细三维人脸重建方法及系统,其中,该方法包括以下步骤:利用三维人脸重建技术从预设人脸图片获取初始图像参数,以得到初始的三维人脸重建结果;根据边缘提取方法提取预设人脸图片的边缘信息,获得连续地边缘图像;将边缘图像与预设人脸图片同时输入深度神经网络,得到二维像素点对应的三维模型顶点和与相机的距离偏移量;将距离偏移量加至初始的三维人脸重建结果上,以得到最终人脸重建结果。该方法可以借助神经网络建模二维图像边缘与三维几何起伏之间的关系,优化重建技术得到的人脸三维重建结果,获得更为精细,更具有真实感的三维人脸。

Patent Agency Ranking