本发明公开了基于分布式学习的模型训练方法，其根据客户端的历史训练任务的完成情况，得到客户端的当前训练轮任务预测量，以使得客户端根据所述当前训练轮任务预测量和服务器下发的全局模型进行本地训练，得到客户端的当前训练轮的本地模型和当前训练轮实际任务量，进而将每一个客户端的当前训练轮的本地模型聚合成新的全局模型，并根据所述当前训练实际任务量对客户端的历史任务完成情况进行更新，其通过尽可能预测逼近客户端实际训练能力的任务量，进而适应性地对客户端的训练任务作出调整，使得客户端尽可能完成多的训练任务而不掉队，提升了全局模型的精度。相应地，本发明还提供了一种服务器和分布式学习系统。