-
公开(公告)号：CN119398126A
公开(公告)日：2025-02-07
申请号：CN202510003176.0
申请日：2025-01-02
Applicant: 杭州高新区(滨江)区块链与数据安全研究院 , 浙江大学
IPC: G06N3/082 , G06N3/0455 , G06N5/04
Abstract: 本申请提供了一种微调大语言模型的方法及电子设备；涉及计算机技术领域。该方法包括：在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量；基于模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度；阶段损失函数为大语言模型的损失函数更新得到；基于差分隐私零阶梯度与学习率，按预设的迭代轮次对大语言模型的模型参数进行迭代处理，得到第i个微调阶段的目标模型参数；本申请实施例，可以降低微调模型的资源消耗，有效保护数据隐私的同时保证模型性能。
Search Results
1
records
(took 0.029 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
