-
公开(公告)号：CN112199717A
公开(公告)日：2021-01-08
申请号：CN202011065611.6
申请日：2020-09-30
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于少量公共数据的隐私模型训练方法及电子装置，包括：使用若干训练得到N个神经网络教师模型；将少量的公共数据xi分别输入N个神经网络教师模型，得到各公共数据xi对各标签k的统计投票结果；对各统计投票结果添加噪声，获取满足差分隐私原理的公共数据xi及相应标签；通过大量的随机噪声向量与一预训练判别神经网络，优化对抗生成网络，并生成大量无标注数据；通过满足差分隐私原理的公共数据xi及相应标签、大量无标注数据对预训练的自编码器联合训练学生模型，得到隐私学生模型。本发明只需少量公共数据即可训练一个隐私学生模型，实现对敏感数据的物理隔离和网络隔离，解决了隐私学生模型的精确度不高这一问题。
-
公开(公告)号：CN112163238A
公开(公告)日：2021-01-01
申请号：CN202010940180.7
申请日：2020-09-09
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种多方参与数据不共享的网络模型训练方法，其步骤包括：1)参与数据共享的各参与方利用所选隐私数据集训练各自所选网络模型，分别得到一教师网络模型；2)采用步骤a)～b)对学生网络模型S进行多轮训练，得到最终的公开网络模型M；a)选出一个教师网络模型Ti指导学生网络模型S更新：首先将训练数据Xi输入模型Ti，得到标签 在中加入噪声N得到Yi，将Xi输入学生网络模型S，输出S(Xi)；然后最小化S(Xi)与Yi之间的相似距离训练学生网络模型S；b)利用学生网络模型S对公开的未标记数据进行部分标记，然后使用部分标注的数据通过半监督知识蒸馏的方法将学生网络模型S中的知识蒸馏到一公开网络模型M中。
-
公开(公告)号：CN112199717B
公开(公告)日：2024-03-22
申请号：CN202011065611.6
申请日：2020-09-30
Applicant: 中国科学院信息工程研究所
IPC: G06F21/62 , G06N3/0464 , G06N3/0442 , G06N3/045 , G06N3/0895 , G06N20/20
Abstract: 本发明提供一种基于少量公共数据的隐私模型训练方法及电子装置，包括：使用若干训练得到N个神经网络教师模型；将少量的公共数据xi分别输入N个神经网络教师模型，得到各公共数据xi对各标签k的统计投票结果；对各统计投票结果添加噪声，获取满足差分隐私原理的公共数据xi及相应标签；通过大量的随机噪声向量与一预训练判别神经网络，优化对抗生成网络，并生成大量无标注数据；通过满足差分隐私原理的公共数据xi及相应标签、大量无标注数据对预训练的自编码器联合训练学生模型，得到隐私学生模型。本发明只需少量公共数据即可训练一个隐私学生模型，实现对敏感数据的物理隔离和网络隔离，解决了隐私学生模型的精确度不高这一问题。
-
公开(公告)号：CN112163238B
公开(公告)日：2022-08-16
申请号：CN202010940180.7
申请日：2020-09-09
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种多方参与数据不共享的网络模型训练方法，其步骤包括：1)参与数据共享的各参与方利用所选隐私数据集训练各自所选网络模型，分别得到一教师网络模型；2)采用步骤a)～b)对学生网络模型S进行多轮训练，得到最终的公开网络模型M；a)选出一个教师网络模型Ti指导学生网络模型S更新：首先将训练数据Xi输入模型Ti，得到标签在中加入噪声N得到Yi，将Xi输入学生网络模型S，输出S(Xi)；然后最小化S(Xi)与Yi之间的相似距离训练学生网络模型S；b)利用学生网络模型S对公开的未标记数据进行部分标记，然后使用部分标注的数据通过半监督知识蒸馏的方法将学生网络模型S中的知识蒸馏到一公开网络模型M中。
-
-
-
Search Results
4
records
(took 0.025 seconds)
