本发明涉及图像处理领域，具体涉及一种基于情景记忆驱动构建优化扩散模型的方法和系统，包括：构建若干个任务，每个任务包括若干图像样本和图像样本对应的人工标注；将所述若干图像样本和图像样本对应的人工标注的构建为支持集和查询集；构建情景记忆存储器，使用若干个任务的支持集和查询集对情景记忆存储器进行优化；构建基于情景记忆驱动的扩散模型；使用若干任务的支持集和查询集对基于情景记忆驱动的扩散模型进行优化；构建新任务，所述新任务包括若干待预测图像，使用优化后的基于情景记忆驱动的扩散模型对待预测图像进行预测。本发明使用基于情景记忆驱动的扩散模型解决预测过程中参数的噪声问题，提升预测结果的准确性。