本发明公开了一种配电网控制模型训练方法、优化方法、装置、设备及介质。利用配电网控制模型中的原始策略网络与预设配电网仿真环境进行交互，生成样本数据；基于所述样本数据，利用所述配电网控制模型中的价值网络更新所述原始策略网络，得到初始策略网络；基于所述初始策略网络的输出值，确定当前更新时刻的电网损耗；基于所述当前更新时刻的电网损耗和原始电网损耗，利用预设目标函数和预设约束条件对所述初始策略网络进行更新，得到目标策略网络；根据所述目标策略网络，确定目标配电网控制模型。有效的增强了模型的实用性，泛化性和鲁棒性，降低计算复杂度。