-
公开(公告)号：CN114255496B
公开(公告)日：2025-04-11
申请号：CN202111456805.3
申请日：2021-11-30
Applicant: 北京达佳互联信息技术有限公司
IPC: G06V40/16 , G06V10/80 , G06T17/00 , H04N21/4402
Abstract: 本公开提供了一种视频生成方法及装置，包括：得到表情迁移模型输出的初始视频；获取与初始视频中的视频帧对应的脸部渲染图和表情系数，脸部渲染图中的口腔区域绘制有虚拟牙齿；将视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到目标图像生成模型输出的脸部处理图像；将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。本公开可以在保证目标视频的牙齿完整的基础上，提升了脸部纹理和牙齿纹理的真实自然程度，大大提升了目标视频的质量。
-
公开(公告)号：CN113223121B
公开(公告)日：2023-10-10
申请号：CN202110478994.8
申请日：2021-04-30
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本申请涉及计算机技术领域，公开了一种视频生成方法、装置、电子设备及存储介质。方法包括：获取参考视频和目标图像；从参考视频的每帧图像中分别提取出第一对象的第一面部表情运动参数；将各第一面部表情运动参数分别输入表情映射模型，得到第二对象的与各第一面部表情运动参数分别对应的第二面部表情运动参数；根据预先从目标图像中提取出的第二对象的第三面部表情运动参数和各第二面部表情运动参数，生成分别与各第二面部表情运动参数对应的运动图像帧；将各帧运动图像帧进行组合，得到目标运动视频，从而可以根据参考视频驱动目标图像，快速得到目标运动视频，使得生成的视频流畅自然，并且可以提高视频生成效率。
-
公开(公告)号：CN114255496A
公开(公告)日：2022-03-29
申请号：CN202111456805.3
申请日：2021-11-30
Applicant: 北京达佳互联信息技术有限公司
IPC: G06V40/16 , G06V10/80 , G06T17/00 , G06K9/62 , H04N21/4402
Abstract: 本公开提供了一种视频生成方法及装置，包括：得到表情迁移模型输出的初始视频；获取与初始视频中的视频帧对应的脸部渲染图和表情系数，脸部渲染图中的口腔区域绘制有虚拟牙齿；将视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到目标图像生成模型输出的脸部处理图像；将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。本公开可以在保证目标视频的牙齿完整的基础上，提升了脸部纹理和牙齿纹理的真实自然程度，大大提升了目标视频的质量。
-
公开(公告)号：CN113223121A
公开(公告)日：2021-08-06
申请号：CN202110478994.8
申请日：2021-04-30
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本申请涉及计算机技术领域，公开了一种视频生成方法、装置、电子设备及存储介质。方法包括：获取参考视频和目标图像；从参考视频的每帧图像中分别提取出第一对象的第一面部表情运动参数；将各第一面部表情运动参数分别输入表情映射模型，得到第二对象的与各第一面部表情运动参数分别对应的第二面部表情运动参数；根据预先从目标图像中提取出的第二对象的第三面部表情运动参数和各第二面部表情运动参数，生成分别与各第二面部表情运动参数对应的运动图像帧；将各帧运动图像帧进行组合，得到目标运动视频，从而可以根据参考视频驱动目标图像，快速得到目标运动视频，使得生成的视频流畅自然，并且可以提高视频生成效率。
-
公开(公告)号：CN113095134A
公开(公告)日：2021-07-09
申请号：CN202110251948.4
申请日：2021-03-08
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于人脸表情提取模型生成、人脸图像生成方法及装置。该人脸表情提取模型生成方法包括获取三维人脸素材图像和源人脸图像；将上述三维人脸素材图像进行投影，得到上述三维人脸素材图像对应的二维人脸素材图像；将上述源人脸图像中的人脸表情迁移至上述二维人脸素材图像，得到目标素材图像；根据上述目标素材图像进行三维重建，得到目标三维人脸模型；对上述目标三维人脸模型进行解优化，得到上述目标素材图像对应的表情特征信息；根据上述目标素材图像和上述目标素材图像对应的表情特征信息构建训练样本；基于上述训练样本训练预设的神经网络，得到人脸表情提取模型。本公开提升了表情特征信息的获取速度和精度。
-
Patent Agency Ranking
公开(公告)号：CN113269700B
公开(公告)日：2023-12-12
申请号：CN202110472857.3
申请日：2021-04-29
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于一种视频生成方法、装置、电子设备及存储介质，该方法包括：获取包括第一对象的正脸无表情图像和包括第二对象的驱动视频；确定驱动视频中所包含的第二对象，相对于驱动视频中的参考视频帧所包含的第二对象的表情参数序列；根据正脸无表情图像以及由表情参数序列和从正脸无表情图像中提取到的初始表情动作参数确定的目标表情动作参数序列，确定第一对象的前景图像序列；基于目标表情动作参数序列，变形正脸无表情图像的前景掩膜图像，得到目标掩膜图像序列；基于目标掩膜图像序列，对前景图像序列和背景图像进行融合得到目标动作视频。本公开可以减少视频生成过程对计算资源的消耗，提高视频生成效率，且生成的视频的连贯性较好。(56)对比文件Carlos Criveli 等."Inside-out:frombasic emotions theory to the behavioralecology view"《.Journal of nonverbalbehavior》.2019,全文.
-
公开(公告)号：CN114170648A
公开(公告)日：2022-03-11
申请号：CN202111333611.4
申请日：2021-11-11
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于一种视频生成方法、装置、电子设备及存储介质，涉及计算机技术领域，其中，方法包括：电子设备获取人脸图像后，将获取的人脸图像输入一阶运动模型进行动作合成，得到初始视频，初始视频中各视频帧人脸图像带有脸部动作；对初始视频中各视频帧人脸图像进行特征提取，得到各视频帧人脸图像对应的第一表情系数序列；将歌词输入多模态模型，得到歌词对应的第二表情系数序列；其中，多模态模型是根据歌词样本和表情系数序列之间的映射关系训练得到的；根据第一表情系数序列和第二表情系数序列对各视频帧人脸图像中的关键点进行调整，得到人脸动作与歌词匹配目标视频。由此，不仅节省了用户的时间，还提升了用户的使用体验。
-
公开(公告)号：CN113095134B
公开(公告)日：2024-03-29
申请号：CN202110251948.4
申请日：2021-03-08
Applicant: 北京达佳互联信息技术有限公司
IPC: G06V40/16 , G06V10/774 , G06T17/00 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本公开关于人脸表情提取模型生成、人脸图像生成方法及装置。该人脸表情提取模型生成方法包括获取三维人脸素材图像和源人脸图像；将上述三维人脸素材图像进行投影，得到上述三维人脸素材图像对应的二维人脸素材图像；将上述源人脸图像中的人脸表情迁移至上述二维人脸素材图像，得到目标素材图像；根据上述目标素材图像进行三维重建，得到目标三维人脸模型；对上述目标三维人脸模型进行解优化，得到上述目标素材图像对应的表情特征信息；根据上述目标素材图像和上述目标素材图像对应的表情特征信息构建训练样本；基于上述训练样本训练预设的神经网络，得到人脸表情提取模型。本公开提升了表情特征信息的获取速度和精度。
-
公开(公告)号：CN113269700A
公开(公告)日：2021-08-17
申请号：CN202110472857.3
申请日：2021-04-29
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于一种视频生成方法、装置、电子设备及存储介质，该方法包括：获取包括第一对象的正脸无表情图像和包括第二对象的驱动视频；确定驱动视频中所包含的第二对象，相对于驱动视频中的参考视频帧所包含的第二对象的表情参数序列；根据正脸无表情图像以及由表情参数序列和从正脸无表情图像中提取到的初始表情动作参数确定的目标表情动作参数序列，确定第一对象的前景图像序列；基于目标表情动作参数序列，变形正脸无表情图像的前景掩膜图像，得到目标掩膜图像序列；基于目标掩膜图像序列，对前景图像序列和背景图像进行融合得到目标动作视频。本公开可以减少视频生成过程对计算资源的消耗，提高视频生成效率，且生成的视频的连贯性较好。
-
公开(公告)号：CN116309008A
公开(公告)日：2023-06-23
申请号：CN202211097609.6
申请日：2022-09-08
Applicant: 北京达佳互联信息技术有限公司
IPC: G06T3/00 , G06N3/0464 , G06N3/08 , G06V40/16
Abstract: 本公开关于表情调整模型的训练方法、表情调整方法及相关设备，该表情调整模型的训练方法包括：获取对应同一对象的第一图像和第二图像；第一图像中对象的表情系数大于第一预设值，第二图像中对象的表情系数小于等于第一预设值；在第一图像中裁剪出第一目标区域，得到第三图像；在第一图像中对第二目标区域进行遮挡处理，得到第四图像；第一目标区域包含第二目标区域；将第三图像和第四图像输入第一预设模型，得到与第一图像的表情系数不同的第五图像；基于第二图像和第五图像确定第一损失值，基于第一损失值调整第一预设模型的模型参数，得到表情调整模型。利用该表情调整模型进行表情调整时效果较好。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.033 seconds)
