本公开提供了一种神经网络训练方法、装置、电子设备、介质和程序产品，涉及人工智能领域，尤其是深度学习领域和分布式学习领域。该方法包括：获取用于深度学习的神经网络；针对神经网络建立深度强化学习模型；以及使用深度强化学习模型，基于使用多个类型的处理单元中的每个类型的处理单元针对神经网络中的多个网络层中的每个网络层执行训练所需的时长、以及每个类型的处理单元的成本，来确定针对多个网络层的处理单元选择。利用上述方法，可以使得在保证训练时长小于预定时长的情况下，使用的不同处理单元的总成本最小，从而能够最为合理地划分神经网络以实现分布式训练，提升深度学习的效率和使用深度学习的用户的用户体验。