公开(公告)号：CN116469182A

公开(公告)日：2023-07-21

申请号：CN202310362404.4

申请日：2023-04-06

Applicant: 之江实验室

Inventor： 柳欣 ,  于镇宁 ,  郑书凯 ,  李太豪

IPC: G06V40/70 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/098 ,  G10L25/30 ,  G10L25/48

Abstract: 本发明实施例提供跨人脸和语音的生物特征匹配方法、装置、设备和介质，涉及生物特征匹配技术领域。匹配方法包含S1、获取面部图像数据和语音数据。S2、根据面部图像数据，通过第一特征提取网络，提取面部深层特征。S3、根据语音数据，通过第二特征提取网络，提取语音深层特征。S4、根据面部深层特征，获取身份标签对应的人脸数据中心质点队列。S5、根据语音深层特征，获取身份标签对应的语音数据中心质点队列。S6、根据两个中心质点队列，以目标质点作为正样本，其它质点作为负样本，最小化目标样本与目标质点的距离并最大化目标样本和其它质点的距离，进行模态内和模态间的中心质点的对比学习，从而对人脸数据和语音数据进行跨模态配对。