本发明公开一种视频解码方法、装置及视音频播放系统，通过在视频解码模块、音频解码模块中设置输出帧队列缓冲区，以空间换取时间，使得回显模块和解码模块能异步地工作，具体说，如果帧队列缓冲中有视音频帧数据，回显时不用等待解码器输出，而是直接根据播放速度从缓冲队列取数据回显。由于视频I帧的解码会耖时较长，为了保证此时回显模块不会因分配不到CPU而停止，本发明在视频解码过程中的熵解码和运动补偿后通过调度CPU，保证回显模块能及时调度到CPU，从而保证播放的流畅平滑。这样，就能使得当处理器能提供的计算解码资源相对勉强满足时，能消除视音频播放不均衡或卡的现象，提供平滑、流畅的播放效果和更精准的音视频同步。