基于变形自编码器和解耦交换的面部动作单元迁移方法及装置

    公开(公告)号:CN114724227B

    公开(公告)日:2025-04-04

    申请号:CN202210444149.3

    申请日:2022-04-26

    Abstract: 本发明公开了一种基于变形自编码器和解耦交换的面部动作单元迁移方法及装置,首先从源域数据集和目标域数据集中分别抽取源图片和目标图片构成原始图像对组成训练数据集;然后将原始图像对分别输入变形自编码器,解耦出相应的纹理图片和变形场;再将交换过来的源变形场和目标纹理图片一起输入到变形场转换器中,输出能够适配目标纹理图片的目标新变形场;最后利用目标新变形场对目标纹理图片进行变形后,得到具有源图片面部动作单元的目标新图片。本发明采用变形自编码器解耦纹理特征与形状特征,在保留目标图片的面部身份以及纹理、姿态等方面的目标域特性的情况下,实现从一张源域图片到另一张目标域图片的面部动作单元迁移。

    基于变形自编码器和解耦交换的面部动作单元迁移方法及装置

    公开(公告)号:CN114724227A

    公开(公告)日:2022-07-08

    申请号:CN202210444149.3

    申请日:2022-04-26

    Abstract: 本发明公开了一种基于变形自编码器和解耦交换的面部动作单元迁移方法及装置,首先从源域数据集和目标域数据集中分别抽取源图片和目标图片构成原始图像对组成训练数据集;然后将原始图像对分别输入变形自编码器,解耦出相应的纹理图片和变形场;再将交换过来的源变形场和目标纹理图片一起输入到变形场转换器中,输出能够适配目标纹理图片的目标新变形场;最后利用目标新变形场对目标纹理图片进行变形后,得到具有源图片面部动作单元的目标新图片。本发明采用变形自编码器解耦纹理特征与形状特征,在保留目标图片的面部身份以及纹理、姿态等方面的目标域特性的情况下,实现从一张源域图片到另一张目标域图片的面部动作单元迁移。

    基于联合学习与光流估计的面部动作单元识别方法及装置

    公开(公告)号:CN112990077B

    公开(公告)日:2021-10-01

    申请号:CN202110360938.4

    申请日:2021-04-02

    Inventor: 邵志文 孙莹 周勇

    Abstract: 本发明公开了一种基于联合学习与光流估计的面部动作单元识别方法及装置,先从视频数据中抽取模型训练所需要的原始图像对组成训练数据集,再对原始图像对进行预处理得到扩增图像对,再构建卷积神经网络模块I提取扩增图像对的多尺度区域特征,再构建卷积神经网络模块II提取扩增图像对的静态全局特征,再构建卷积神经网络模块III提取扩增图像对的光流特征,最后构建卷积神经网络模块IV融合静态全局特征和光流特征进行面部动作单元识别。本发明采用端到端的深度学习框架联合学习动作单元识别和光流估计,利用任务间的关联性促进动作单元识别,能够有效识别面部肌肉在二维图像中的运动情况,实现统一的面部动作单元识别系统构建。

    基于联合学习与光流估计的面部动作单元识别方法及装置

    公开(公告)号:CN112990077A

    公开(公告)日:2021-06-18

    申请号:CN202110360938.4

    申请日:2021-04-02

    Inventor: 邵志文 孙莹 周勇

    Abstract: 本发明公开了一种基于联合学习与光流估计的面部动作单元识别方法及装置,先从视频数据中抽取模型训练所需要的原始图像对组成训练数据集,再对原始图像对进行预处理得到扩增图像对,再构建卷积神经网络模块I提取扩增图像对的多尺度区域特征,再构建卷积神经网络模块II提取扩增图像对的静态全局特征,再构建卷积神经网络模块III提取扩增图像对的光流特征,最后构建卷积神经网络模块IV融合静态全局特征和光流特征进行面部动作单元识别。本发明采用端到端的深度学习框架联合学习动作单元识别和光流估计,利用任务间的关联性促进动作单元识别,能够有效识别面部肌肉在二维图像中的运动情况,实现统一的面部动作单元识别系统构建。

Patent Agency Ranking