基于跨模态融合的多模态人脸防伪检测方法、装置、设备及介质

    公开(公告)号:CN117437677A

    公开(公告)日:2024-01-23

    申请号:CN202311398873.8

    申请日:2023-10-26

    IPC分类号: G06V40/16 G06V10/80 G06V10/52

    摘要: 本发明涉及一种基于跨模态融合的多模态人脸防伪检测方法、装置、设备及介质,属于人脸防伪技术领域。该检测方法通过包括RGB、IR以及深度在内的多模态人脸图像进行处理,以获得融合特征的跨模态特征图,具体地,对RGB、IR、深度人脸图像进行多尺度特征提取得到多尺度特征图,再对不同模态的多尺度特征图进行跨模态特征融合处理得到跨模态特征图,基于跨模态特征图进行拼接处理得到目标跨模态特征图,即可根据目标跨模态特征图判断多模态人脸图像是否为真实人脸图像。本发明通过将不同模态间的人脸图像进行跨模态的特征融合处理,能够获得全面、多尺度、具有互补性的目标跨模态特征图,有利于提升人脸防伪技术的准确率。