-
公开(公告)号:CN117113398A
公开(公告)日:2023-11-24
申请号:CN202311048295.5
申请日:2023-08-18
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于松弛损失的知识蒸馏成员推断攻击的防御方法,本发明基于隐私数据和松弛损失的防御方法对老师模型进行训练,并在老师模型训练的梯度上升阶段改进样本学习方法;从公共数据中选取无标签且老师模型预测熵值低的公共数据作为学生模型的训练数据,并在老师模型和学生模型间,采用知识蒸馏方法对学生模型进行训练,并仅学生模型作为目标模型对用户公开使用。本发明对老师模型的训练方法不仅提升了模型的泛化能力,还使模型在隐私与性能上达到更好的权衡。采用知识蒸馏方法对学生模型进行训练,能降低学生模型的脆弱性,使模型对成员推断攻击的防御效果得到进一步提升。本发明能有效避免隐私敏感数据泄露对用户造成的隐私威胁。