本发明实施例公开了一种基于张量鲁棒主成分分析的视频分离方法及装置，方法包括通过获取包括T帧的输入视频；通过张量鲁棒主成分分析将输入视频的每一帧转换为视频张量，视频张量分解为低秩张量和稀疏张量；稀疏张量通过字典张量和稀疏系数重构获得；基于第t帧的低秩张量使用张量增量SVD算法更新低秩背景的子空间的初始估计，根据稀疏字典的子空间与更新后的低秩背景的子空间的正交关系，获得第t帧的稀疏字典的子空间；通过基追踪和FISTA优化估计稀疏系数；根据第t帧的字典张量和稀疏系数计算第t帧的低秩张量，提取输入视频的第t帧的视频帧背景。该方法不需要批处理较多数据，并且迭代算法的使用次数少，能够有效缩短视频分离的运行时间。