本申请提供一种基于神经网络的单人换脸短视频的识别方法和系统。所述识别方法包括：从待识别单人短视频中抽取出单帧图像后，提取每个单帧图像中人脸区域对应的面部图像，利用神经网络模型确定面部图像经过面部修正的伪造概率，最后根据伪造概率大于预设伪造判定阈值的伪造图像的数量、每个面部图像的伪造概率以及多个预设阈值，确定待识别单人短视频的视频换脸概率。如此，仅对视频中部分单帧图像进行识别，提高了识别效率；同时，并不是一概而论地直接将所有面部图像的伪造概率的平均值作为视频换脸概率，而是根据伪造图像数量以及每个面部图像伪造概率的不同情况确定视频换脸概率，与待识别单人短视频的真实情景更为贴合，识别的准确性较高。