本公开涉及一种大模型的微调方法、装置、电子设备和存储介质。所述方法包括：将训练样本集划分为至少两个训练样本子集，并确定与所述至少两个训练样本子集一一对应的至少两项分解参数值，其中，所述至少两项分解参数值互不相同；将目标数据处理模型的网络层划分为第一网络层组和第二网络层组；对于所述至少两个训练样本子集中的任一训练样本子集，根据所述第一网络层组对应的原参数矩阵的行数和列数，以及所述训练样本子集对应的分解参数值，初始化所述训练样本子集对应的第一参数矩阵和第二参数矩阵；基于所述训练样本子集训练所述目标数据处理模型，并更新所述目标数据处理模型的参数。