本发明公开了训练智能体控制网络模型的方法，其包括：建立智能体控制网络模型。利用策略网络通过初始策略，训练得到与智能体状态信息对应的智能体的轨迹信息。根据初始策略和策略差异阈值，筛选出目标策略。将智能体状态信息和智能体的轨迹信息输入价值网络，根据智能体的长远价值信息训练价值网络。本发明中通过策略之间的距离，筛选轨迹样本数据和目标策略，优化智能体控制网络模型的训练数据。解决了异策略模型训练中数据分布不规则、模型稳定性差的问题。提高了样本的利用效率，保证了训练模型用于智能体控制时的稳定性和可靠性。同时，本发明还提供使用训练智能体控制网络模型的控制方法。