公开(公告)号：CN117133310A

公开(公告)日：2023-11-28

申请号：CN202311081384.X

申请日：2023-08-24

Applicant: 浙江大学 ,  支付宝(杭州)信息技术有限公司

Inventor： 王志波 ,  徐晖宇 ,  刘文鑫 ,  金帅帆 ,  胡佳慧 ,  任奎

IPC: G10L21/16 ,  G06N3/08 ,  G10L25/30

Abstract: 本说明书公开了一种音频驱动视频生成方法、装置、存储介质及电子设备。在本说明书提供的音频驱动视频生成方法中，获取目标音频并输入视频生成模型；提取每一帧音频数据的音频特征；针对每帧音频数据，根据该帧音频数据的音频特征以及与该帧音频数据相关的音频数据的音频特征，得到该帧音频数据的时序特征；对该帧音频数据的音频特征与时序特征进行融合，得到该帧音频数据的音视频特征；根据该帧音频数据的音视频特征与预设的说话人位姿，得到输出的空间注意力图；根据空间注意力图对该帧音频数据的音视频特征进行调整；根据该帧音频数据的音视频特征生成该帧音频数据的目标图像；根据各帧音频数据的目标图像，确定目标视频。

公开(公告)号：CN118379608A

公开(公告)日：2024-07-23

申请号：CN202410834314.5

申请日：2024-06-26

Applicant: 浙江大学 ,  支付宝(杭州)信息技术有限公司

Inventor： 王志波 ,  王耀鹏 ,  徐晖宇 ,  刘文鑫 ,  金璐 ,  任奎

IPC: G06V20/00 ,  G06V40/16 ,  G06V10/774

Abstract: 本发明公开了一种基于自适应学习的高鲁棒性深度伪造检测方法，首先基于质量退化生成算法自适应生成不同质量的退化人脸图像，补充现有深度伪造人脸图像数据集质量多样性，同时结合自适应采样网络协调不同质量的人脸图像的学习信号，动态捕捉未知质量的人脸图像的伪造特征，从而提升深度伪造检测模型对于低质量伪造图像的检测性能。本发明帮助自适应深度伪造检测算法更好地学习伪造特征与退化噪声之间的差异，提高自适应深度伪造检测算法对于未知质量人脸图像的鲁棒性，并基于人脸图像质量进行算法动态训练，指导自适应深度伪造检测算法进行优化，提高自适应深度伪造检测算法对于原始人脸图像和退化人脸图像准确率之间的均衡性。

公开(公告)号：CN118379608B

公开(公告)日：2024-10-18

申请号：CN202410834314.5

申请日：2024-06-26

Applicant: 浙江大学 ,  支付宝(杭州)信息技术有限公司

Inventor： 王志波 ,  王耀鹏 ,  徐晖宇 ,  刘文鑫 ,  金璐 ,  任奎

IPC: G06F30/27 ,  G06V20/00

Abstract: 本发明公开了一种基于自适应学习的高鲁棒性深度伪造检测方法，首先基于质量退化生成算法自适应生成不同质量的退化人脸图像，补充现有深度伪造人脸图像数据集质量多样性，同时结合自适应采样网络协调不同质量的人脸图像的学习信号，动态捕捉未知质量的人脸图像的伪造特征，从而提升深度伪造检测模型对于低质量伪造图像的检测性能。本发明帮助自适应深度伪造检测算法更好地学习伪造特征与退化噪声之间的差异，提高自适应深度伪造检测算法对于未知质量人脸图像的鲁棒性，并基于人脸图像质量进行算法动态训练，指导自适应深度伪造检测算法进行优化，提高自适应深度伪造检测算法对于原始人脸图像和退化人脸图像准确率之间的均衡性。

公开(公告)号：CN117238015B

公开(公告)日：2024-08-02

申请号：CN202311084045.7

申请日：2023-08-28

Applicant: 浙江大学

Inventor： 王志波 ,  徐晖宇 ,  王耀鹏 ,  胡佳慧 ,  金帅帆 ,  任奎

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明公开了一种基于生成模型的深度伪造检测方法，能够根据不同类型伪造数据的检测模型知识，有效捕捉通用伪造表征，并利用条件生成模型作为不同检测模型知识间的门限函数，高效地捕捉伪造痕迹，减少模型训练量，提高伪造检测模型的可扩展性，从而提升深度伪造检测模型的通用性。按照伪造算法的类型划分数据集，提高训练专家模型的精度，并利用生成模型高效地学习多种伪造算法的伪造特征，缩小了检测模型表征和视觉伪造痕迹之间的差异，提高深度伪造检测模型的通用性，采用生成模型融合多组伪造检测模型表征，提高了表征融合的效率，方法仅使用一层线性层融合，大大降低了模型的训练参数量，降低了训练通用深度伪造模型的训练开销。

公开(公告)号：CN117238015A

公开(公告)日：2023-12-15

申请号：CN202311084045.7

申请日：2023-08-28

Applicant: 浙江大学

Inventor： 王志波 ,  徐晖宇 ,  王耀鹏 ,  胡佳慧 ,  金帅帆 ,  任奎

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明公开了一种基于生成模型的深度伪造检测方法，能够根据不同类型伪造数据的检测模型知识，有效捕捉通用伪造表征，并利用条件生成模型作为不同检测模型知识间的门限函数，高效地捕捉伪造痕迹，减少模型训练量，提高伪造检测模型的可扩展性，从而提升深度伪造检测模型的通用性。按照伪造算法的类型划分数据集，提高训练专家模型的精度，并利用生成模型高效地学习多种伪造算法的伪造特征，缩小了检测模型表征和视觉伪造痕迹之间的差异，提高深度伪造检测模型的通用性，采用生成模型融合多组伪造检测模型表征，提高了表征融合的效率，方法仅使用一层线性层融合，大大降低了模型的训练参数量，降低了训练通用深度伪造模型的训练开销。