本发明公开了一种时间抖动频谱测量装置和方法，解决现有装置和方法结构复杂、不便操作的问题。所述装置，包含：第一飞秒激光器、第二飞秒激光器、第一光学晶体、第二光学晶体、第一探测采集模块、第二探测采集模块、上位机；所述第一、第二飞秒激光器，用于产生重复频率不同、偏振方向正交的激光脉冲；所述第一、第二光学晶体，用于输出第一、第二倍频光信号；所述第一、第二探测采集模块，分别用于接收所述第一、第二倍频光信号，进行光电转换和低通滤波，输出第一、第二包络信号；所述上位机，用于接收所述第一、第二包络信号，拟合得到第一、第二脉冲重合时刻，并计算得到时间抖动偏差与时间抖动频谱。本发明易于工程实现。