本发明提供一种异构分布式学习方法、装置、设备、系统及介质，涉及计算机技术领域，方法应用于边缘设备，联邦学习系统包含多个边缘设备，多个边缘设备已划分至多个设备簇，方法包括：利用本地训练数据对本地的机器学习模型进行迭代训练；各边缘设备中的机器学习模型对应相同的模型结构及推理任务；对训练后的机器学习模型进行压缩，并将压缩后的机器学习模型参数发送至自身所在设备簇的簇头边缘设备；当自身属于簇头边缘设备时，对接收到的机器学习模型参数进行簇内聚合得到簇内聚合模型参数，并将簇内聚合模型参数发送至边缘云服务器进行全局聚合；可通过设备分簇及模型压缩减少联邦学习过程中的通信量，从而可提升通信效率。