本说明书实施例提出了一种任务执行方法、装置、中心节点和下游节点设备，其中，上述任务执行方法中，目标下游节点获取训练任务之后，如果上述训练任务所需的资源配额小于或等于目标下游节点当前可用的资源，则启动上述训练任务，并等待参与训练的其他下游节点启动训练任务，然后，根据参与训练的其他下游节点中训练任务的启动情况，确定执行上述训练任务，从而可以实现下游节点根据自身当前的可用资源启动训练任务，降低了资源调度的复杂性，并且可以充分利用下游节点的运算资源，加快了训练任务的执行速度。