本发明公开了一种视频序列的去噪方法、装置、服务器和存储介质，该方法包括：分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。