本申请公开了基于无模型强化学习的综合能源能量优化方法及装置，方法包括：根据预置综合能源服务商模型获取供能指导信号样本；将供能指导信号样本输入预置神经网络中，并根据预置损失函数进行网络训练，获取园区综合能源系统与配网的能量交换量，预置损失函数包括范数惩罚项；通过蒙特卡洛算法根据能量交换量进行奖励性模拟计算，获取最优供能指导信号；将最优供能指导信号代入预置能量优化模型中，求得最优调度方案，预置能量优化模型包括预置能量调度函数和预置约束条件。本申请解决了基于模型的综合能源系统能量优化技术适用性和效率均较低的技术问题。