公开(公告)号：CN119005277A

公开(公告)日：2024-11-22

申请号：CN202410989398.X

申请日：2024-07-23

Applicant: 浙江大学

Inventor： 宋明黎 ,  潘言 ,  宋杰 ,  陈根浪

IPC: G06N3/08 ,  G06N3/084 ,  G06N3/045

Abstract: 基于预训练模型参数融合的模型微调方法，包括以下步骤：1)选择是否采用现有的参数融合算法，若是，则跳转至步骤2，否则随机生成线性组合权重p并跳转至步骤3；2)通过该参数融合算法对预训练模型A与预训练模型B进行参数融合，并根据公式m＝pa+b逆向推导出p，其中a和b分别代表两个预训练模型的参数，p为线性组合权重，m为融合后模型的参数；3)通过p构建出模型P，并对P进行优化；4)通过公式m＝pa+b对两个预训练模型进行合并，得到模型M；5)对模型M进行微调。利用神经网络的学习能力获取最优的模型参数组合，尽可能消除两个模型之间的损失障碍，从而使模型在后续的微调中表现出更加优秀的性能。本方法克服了传统方法中条件过于理想，而在实际合并过程中很难达到理想状态的问题，从而更有效地消除了两个待合并模型之间的损失障碍，让合并后的模型在经过微调后的效果更加优秀。