本说明书实施例提供一种联合更新模型的方法、装置及系统。通过本说明书实施例提供的方法、装置和系统，基于联合更新模型时的数据复合切分情形，设想将训练成员的数据进行分割，从而构成多个水平切分的子系统，在单个子系统内部，可以包括数据垂直切分的训练成员。这样，数据呈垂直切分的单个子系统通过分布在多个训练成员的训练样本在子系统内部迭代，从而更新待同步参数。而各个子系统之间，可以按照同步条件触发的同步周期进行数据同步。这种方式充分考虑各个训练成员的数据构成，为复杂数据结构下的联合更新模型提供解决方案，有利于扩展联邦学习的应用范围。