公开(公告)号：CN117313869B

公开(公告)日：2024-04-05

申请号：CN202311418709.9

申请日：2023-10-30

Applicant: 浙江大学

Inventor： 乔一帆 ,  邵硕 ,  秦湛 ,  王志波 ,  任奎

IPC: G06N5/04 ,  G06F21/62 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于模型分割的大模型隐私保护推理方法，属于计算机人工智能和大模型安全技术领域。通过模型分割：将原始大模型的Encoder和Decoder部署在客户端，大模型的中间部分留在服务端本地；模型压缩：通过服务器端将中间层压缩后发送至客户端，并在客户端组成一个具有原始大模型基本功能的小模型；模型微调：客户端通过损失函数微调模型；模型推理：客户端将训练好的Encoder按协议发送至服务器端，推理得到中间结果，再与本地服务器端的Decoder结合完成训练。本发明兼顾了模型性能和隐私保护，有效的防范了重建攻击，且对于模型的效果没有负面影响；同时防止了大模型的模型隐私泄露和用户的数据泄露，计算效率高，在客户端不需要大量的计算资源。

公开(公告)号：CN117313869A

公开(公告)日：2023-12-29

申请号：CN202311418709.9

申请日：2023-10-30

Applicant: 浙江大学

Inventor： 乔一帆 ,  邵硕 ,  秦湛 ,  王志波 ,  任奎

IPC: G06N5/04 ,  G06F21/62 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于模型分割的大模型隐私保护推理方法，属于计算机人工智能和大模型安全技术领域。通过模型分割：将原始大模型的Encoder和Decoder部署在客户端，大模型的中间部分留在服务端本地；模型压缩：通过服务器端将中间层压缩后发送至客户端，并在客户端组成一个具有原始大模型基本功能的小模型；模型微调：客户端通过损失函数微调模型；模型推理：客户端将训练好的Encoder按协议发送至服务器端，推理得到中间结果，再与本地服务器端的Decoder结合完成训练。本发明兼顾了模型性能和隐私保护，有效的防范了重建攻击，且对于模型的效果没有负面影响；同时防止了大模型的模型隐私泄露和用户的数据泄露，计算效率高，在客户端不需要大量的计算资源。