本发明公开了一种基于音频通信的电子签名系统及签名方法，属于电子信息领域。所述系统由包含有接口模块、数据处理模块、智能密钥模块、电源模块的音频智能密钥设备和包含有音频输出口、音频输入口、应用程序单元的终端组成，其中音频智能密钥设备的接口模块与终端之间进行通信的是音频信号，接口模块可以对音频信号进行A/D转换和调制解调处理。所述签名方法主要包括终端向智能密钥设备发送包含有重要数据的音频信号，音频智能密钥设备接收并进行解码、解调、解密处理后对数据签名，并将签名结果进行编码、调制、加密处理后发送给终端，再有终端发送给服务器进行验签。