基于三维信息时序一致性的人脸深度伪造检测方法及系统

    公开(公告)号:CN117275063A

    公开(公告)日:2023-12-22

    申请号:CN202311211893.X

    申请日:2023-09-19

    Inventor: 唐胜 王志浩 曹娟

    Abstract: 本发明提出一种基于三维信息时序一致性的人脸深度伪造检测方法,包括:构建包括特征提取器、差分模型、分类层和人脸重建模型的三维时间差分模型;特征提取器提取训练视频中具有人脸的每一帧图像的面部特征,人脸重建模型根据面部特征重建人脸图像,得到单帧图像的重建图像,时间差分模型根据相邻帧在面部相关特征上的差异作为时序特征,分类层根据时序特征进行分类,根据分类结果和伪造标签构建损失函数,以训练三维时间差分模型中的分类层;训练完成后的三维时间差分模型用于执行人脸伪造检测任务。由于提取三维特征的网络参数固定,因此本发明具有可学习参数较少的特点。且本方法在具有较高检测精度的同时还能保证具有较好的抗压缩能力。

    基于量化技术的图像深伪检测加速方法及系统

    公开(公告)号:CN115719520A

    公开(公告)日:2023-02-28

    申请号:CN202211387390.3

    申请日:2022-11-07

    Abstract: 本发明提出一种基于量化技术的图像深伪检测加速方法和系统,包括:获取已标记深伪检测结果的训练视频,从训练视频中抽取伪造检测的关键帧,对关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征;基于帧特征,利用人脸识别算法,定位关键帧中人脸位置信息,基于人脸位置信息、帧特征和已标记深伪检测结果,训练得到初始检测模型;对初始检测模型的权重、激活值进行量化转换,并验证推理速度和精度损失间的平衡,将量化转换后的初始检测模型作为中间模型;对中间模型进行微调或重训练,得到最终的深度伪造检测模型;将待深度伪造检测的视频输入深度伪造检测模型,得到其是否属于伪造视频的检测结果。

    一种基于涂鸦的弱监督语义分割方法与系统

    公开(公告)号:CN110443818B

    公开(公告)日:2021-09-07

    申请号:CN201910588880.1

    申请日:2019-07-02

    Inventor: 唐胜 王斌 张勇东

    Abstract: 本发明提出一种基于涂鸦的弱监督语义分割方法与系统,包括:获取多张训练图片,训练图片均对应有涂鸦标记和边缘图;选取训练图片作为当前图片,将当前图片输入至语义分割网络,得到当前图片的高层语义特征;将高层语义特征输入至预测修正网络,得到当前图片的分割结果图,并根据当前图片的涂鸦标记,得到当前图片中涂鸦标记区域的交叉熵损失;将高层语义特征输入至边界回归网络,得到当前图片中目标的边界图,并根据当前图片的边缘图,得到边界图中边界区域的均值方差损失;构建总损失函数,并判断总损失函数是否收敛,若是,则将当前预测修正网络作为语义分割模型;将待语义分割的图片输入至语义分割模型,得到待语义分割的图片的分割结果图。

    基于克罗内克卷积的场景分割方法和系统

    公开(公告)号:CN109670506B

    公开(公告)日:2021-04-06

    申请号:CN201811309245.7

    申请日:2018-11-05

    Abstract: 本发明涉及一种基于克罗内克卷积的场景分割方法,包括:构建具有残差结构的克罗内克卷积层;以该克罗内克卷积层和标准卷积层构建特征提取子网络,以原始图像为输入,通过该特征提取子网络输出抽象特征图;以该克罗内克卷积层构建树形特征聚合模块,以该抽象特征图为输入,通过该树形特征聚合模块输出聚合特征图;以该聚合特征图为输入,通过该场景分割子网络输出该原始图像的场景分割结果。

    融合局部信息的场景分割修正方法与系统

    公开(公告)号:CN107564013B

    公开(公告)日:2020-06-26

    申请号:CN201710650541.2

    申请日:2017-08-02

    Inventor: 唐胜 张蕊 李锦涛

    Abstract: 本发明涉及一种场景分割修正方法,通过局部边界修正网络,以完全残差卷积网络作为前端模型,将该前端模型的置信度图和原始图像按通道拼接起来,作为该局部边界修正网络的输入,从而输出该置信度图所有位置的局部聚合系数,将该局部聚合系数与该置信度图的对应位置相乘,聚合到中心点,得到场景分割的局部边界修正结果;使用已知的场景分割数据集对该局部边界修正网络进行训练。同时本发明还提出了将全局残差修正网络和该局部边界修正网络串联起来,形成级联的框架,该级联的框架可以对前端模型的分割结果进行全局修正和局部修正,从而得到更加精确的场景分割修正结果。

    基于克罗内克卷积的场景分割方法和系统

    公开(公告)号:CN109670506A

    公开(公告)日:2019-04-23

    申请号:CN201811309245.7

    申请日:2018-11-05

    Abstract: 本发明涉及一种基于克罗内克卷积的场景分割方法,包括:构建具有残差结构的克罗内克卷积层;以该克罗内克卷积层和标准卷积层构建特征提取子网络,以原始图像为输入,通过该特征提取子网络输出抽象特征图;以该克罗内克卷积层构建树形特征聚合模块,以该抽象特征图为输入,通过该树形特征聚合模块输出聚合特征图;以该聚合特征图为输入,通过该场景分割子网络输出该原始图像的场景分割结果。

    字典学习、视觉词袋特征提取方法及检索系统

    公开(公告)号:CN104036012B

    公开(公告)日:2017-06-30

    申请号:CN201410287639.2

    申请日:2014-06-24

    Abstract: 本发明提供一种字典学习方法,包括:1)基于维度将图像的局部特征向量分为第一分段和第二分段;2)用多个局部特征向量的第一分段构造第一数据矩阵,用多个局部特征向量的第二分段构造第二数据矩阵;3)对第一数据矩阵进行稀疏非负矩阵分解,得到用于对局部特征向量的第一分段进行稀疏编码的第一字典;对第二数据矩阵进行稀疏非负矩阵分解,得到用于对局部特征向量的第二分段进行稀疏编码的第二字典。本发明还提供了基于上述两个字典对图像局部特征进行分段稀疏表示的视觉词袋特征提取方法和相应的检索系统。本发明能够大幅减少内存占用,降低词表训练时间和特征提取时间,特别适合应用于移动终端。

    字典学习、视觉词袋特征提取方法及检索系统

    公开(公告)号:CN104036012A

    公开(公告)日:2014-09-10

    申请号:CN201410287639.2

    申请日:2014-06-24

    CPC classification number: G06F17/30247

    Abstract: 本发明提供一种字典学习方法,包括:1)基于维度将图像的局部特征向量分为第一分段和第二分段;2)用多个局部特征向量的第一分段构造第一数据矩阵,用多个局部特征向量的第二分段构造第二数据矩阵;3)对第一数据矩阵进行稀疏非负矩阵分解,得到用于对局部特征向量的第一分段进行稀疏编码的第一字典;对第二数据矩阵进行稀疏非负矩阵分解,得到用于对局部特征向量的第二分段进行稀疏编码的第二字典。本发明还提供了基于上述两个字典对图像局部特征进行分段稀疏表示的视觉词袋特征提取方法和相应的检索系统。本发明能够大幅减少内存占用,降低词表训练时间和特征提取时间,特别适合应用于移动终端。

    一种基于集成学习的模式训练和识别方法

    公开(公告)号:CN102521599A

    公开(公告)日:2012-06-27

    申请号:CN201110303362.4

    申请日:2011-09-30

    Abstract: 本发明提供一种基于集成学习的模式训练和识别方法,该模式训练方法包括:1)对训练样本进行词典学习,生成冗余词典;2)利用所述冗余词典对所述训练样本进行稀疏编码,获得每个训练样本的稀疏编码系数;3)根据所述稀疏编码系数对所有训练样本进行稀疏子空间划分;4)对于每个稀疏子空间内的训练样本进行子模型训练,获得用于分类的子模型。本发明的上述模式训练和识别方法可以取得更高的识别性能,同时能显著提高训练效率和检测效率。

Patent Agency Ranking