本发明提供了一种基于扩散模型的人像写真生成方法、系统、设备及存储介质，包括：采集用户人像图和风格训练图并分别进行预处理，获得用户人像数据和风格训练数据；将用户人像数据输入至用户LoRA模型中，获得用户特征信息，将风格训练数据输入至风格LoRA模型中，获得风格特征信息，其中，用户LoRA模型和风格LoRA模型通过参数自适应预算分配策略进行改进；采用图像编码器对用户人像图进行特征提取，获得人脸特征信息；根据使用场景调整用户LoRA模型和风格LoRA模型之间的权重比例，将用户特征信息、风格特征信息以及人脸特征信息输入至扩散模型中，最终获得人像写真图。本申请能够实现输出真实、自然、相似度与美观度兼具、风格可控的人像写真图。