公开(公告)号：CN116189260A

公开(公告)日：2023-05-30

申请号：CN202310103141.5

申请日：2023-02-10

Applicant: 上海交通大学

Inventor： 王伟行 ,  文飞 ,  刘佩林

IPC: G06V40/16 ,  G06V40/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明提供了一种捕捉长短距离依赖关系的多模态人脸活体检测方法，包括：步骤S1：融合多模态，将人脸图像分割成人脸图块；步骤S2：进行图块局部卷积，提取每个人脸图块的局部特征；步骤S3：进行跨图块全局MLP交互；步骤S4：将交互结果输入分类模块，实现分类并给出预测结果。本发明结合局部卷积与全局MLP，打破CNN固有的局部归纳偏置，实现长距离依赖关系的捕捉能力，从而同步提取局部和全局特征应用于人脸活体检测任务；本发明的Conv‑MLP具有适中的归纳偏置，不需要庞大规模数据进行预训练，多模态数据直接在信号层面融合，以提取不同模态之间的互补特征。