本发明公开了一种适配频率调制的VMD迭代噪声抑制系统及其方法，涉及调制信号噪声干扰抑制技术领域。本系统包括依次连通的调制模块(1)、波形发生器(2)、可见光发射模块(3)、信号源(0)、可见光接收模块(4)、信号采集器(5)、VMD迭代降噪模块(6)和解调模块(7)。所述的VMD迭代降噪模块(6)是一种将VMD降噪算法与频率调制相结合，并引入相关系数进行判决的模块，VMD迭代噪声抑制算法能够自适应地将噪声频率成分滤除，能有效地抑制频率调制信号噪声干扰问题。本发明解决了频率调制信号在传输过程中噪声干扰问题，可以显著提高信噪比，降低误码率。