公开(公告)号：CN112734696B

公开(公告)日：2023-01-13

申请号：CN202011544772.3

申请日：2020-12-24

申请人： 华南理工大学(CN) ,  中新国际联合研究院(CN)

发明人： 胡永健 ,  林育仪 ,  刘琲贝 ,  王宇飞

IPC分类号： G06T7/00 ,  G06N3/04 ,  G06N3/08 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82

摘要： 本发明公开了一种基于多域特征融合的换脸视频篡改检测方法及系统，该方法包括下述步骤：数据集划分；视频分帧并选择待测帧序列，提取各帧图像待检测区域；计算检测区域的RGB特征、DFT特征和光流特征图像；构建多路卷积神经网络的卷积特征提取模块；各支路卷积特征输入注意力模块，生成注意力引导特征图；多路注意力引导特征级联融合，输入用于特征分类的全连接层；将特征图像输入多路卷积神经网络进行训练，保存网络模型和最佳权重；利用训练完成后的模型进行预测分类，输出换脸视频篡改检测结果。本发明能够较好地结合视频在空间域、频域以及时域的篡改信息，提高了模型的泛化能力，利用通道注意力机制优化模型对多个领域分类特征的学习。