本发明涉及一种说话人识别方法，所述方法包括：通过训练得到邻域保持嵌入空间矩阵；基于所述邻域保持嵌入空间矩阵进行说话人识别；所述基于所述邻域保持嵌入空间矩阵进行说话人识别，包括：对于每一个高斯混合模型GMM均值超向量x进行主成分分析PCA降维得到向量w；使用所述邻域保持嵌入空间矩阵对于每一个所述向量w进行映射得到向量w’；将经过映射得到的所述向量w’作为支持向量机SVM的输入特征进行后端分类建模；借助支持向量机SVM打分，根据打分结果识别说话人。本发明实施例采用一种新型的基于邻域保持嵌入NPE的因子分析技术，能够有效地克服现有总变化因子分析技术存在的不足，进一步提高说话人识别性能。