-
公开(公告)号：CN114912624A
公开(公告)日：2022-08-16
申请号：CN202210380964.8
申请日：2022-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，提供一种针对业务模型的纵向联邦学习方法，其中的业务模型包括设于服务方的全局模型和设于各个训练成员的各个局部模型，其中的第一训练成员可以经由本地的第一局部模型对当前批次的若干条训练样本的第一特征数据进行处理，得到第一中间张量，然后针对第一中间张量进行基于预设的第一裁剪阈值的裁剪操作，形成第一规约张量，接着在第一规约张量上添加符合差分隐私的第一目标噪声，得到第一发布张量以提供给服务方，使得服务方通过全局模型处理第一发布张量，从而进行全局模型和第一局部模型的训练。这种方式可以有效保护数据隐私并使得隐私损失可控。
-
公开(公告)号：CN114912624B
公开(公告)日：2024-10-18
申请号：CN202210380964.8
申请日：2022-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，提供一种针对业务模型的纵向联邦学习方法，其中的业务模型包括设于服务方的全局模型和设于各个训练成员的各个局部模型，其中的第一训练成员可以经由本地的第一局部模型对当前批次的若干条训练样本的第一特征数据进行处理，得到第一中间张量，然后针对第一中间张量进行基于预设的第一裁剪阈值的裁剪操作，形成第一规约张量，接着在第一规约张量上添加符合差分隐私的第一目标噪声，得到第一发布张量以提供给服务方，使得服务方通过全局模型处理第一发布张量，从而进行全局模型和第一局部模型的训练。这种方式可以有效保护数据隐私并使得隐私损失可控。
-
公开(公告)号：CN113032835B
公开(公告)日：2024-02-23
申请号：CN202110433119.8
申请日：2021-04-21
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F21/62 , G06N20/00 , G06N3/084 , G06N3/0985 , G06F18/213 , G06F18/214 , G06F18/2132 , G06F18/2134 , G06F18/2135 , G06F18/2136
Abstract: 本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行迭代训练，得到模型数据；传输第一共享数据至服务器，以便使服务器基于多个数据方的第一共享参数确定第二共享数据；获取服务器返回的第二共享数据，并基于第二共享数据更新模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。
-
公开(公告)号：CN112799708B
公开(公告)日：2021-07-13
申请号：CN202110370767.3
申请日：2021-04-07
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种更新业务模型的系统及方法，将联邦学习分为两个阶段。第一个阶段，各个数据方共同确定全局模型参数。第二阶段，在全局模型参数下发至各个数据方后，各个数据方利用全局模型参数更新本地业务模型后，还利用本地业务数据进一步更新本地的业务模型参数，从而得到更适应本地业务数据的业务模型。其中，第一个阶段各个数据方共同确定全局模型参数过程中，各个数据方可以利用扰动的梯度更新模型参数，并反馈至服务端，从而更加有利于保护本地数据隐私。总之，本说明书的实施例提供的联合更新业务模型的方案，可以提高联邦学习的有效性。
-
公开(公告)号：CN113033825A
公开(公告)日：2021-06-25
申请号：CN202110430504.7
申请日：2021-04-21
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行一次或多次迭代训练，对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；传输第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；获取服务器返回的第二共享数据，并基于第二共享数据更新模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。
-
Patent Agency Ranking
公开(公告)号：CN113033825B
公开(公告)日：2024-05-28
申请号：CN202110430504.7
申请日：2021-04-21
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行一次或多次迭代训练，对应于模型的共享部分的第一共享数据和对应于模型的专有部分的本地数据；传输第一共享数据至服务器，以便使服务器基于多个数据方的第一共享数据确定第二共享数据；获取服务器返回的第二共享数据，并基于第二共享数据更新模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。
-
公开(公告)号：CN114912140A
公开(公告)日：2022-08-16
申请号：CN202210399998.1
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种基于差分隐私的待共享数据处理方法、装置、设备和介质。方案可以包括：获取原始数据矩阵；所述原始数据矩阵包含待共享的数据；所述待共享的数据中包含隐私信息；对所述原始数据矩阵进行奇异值分解，得到左奇异矩阵、对角矩阵和右奇异矩阵；基于预设的扰动值，对所述对角矩阵进行扰动，得到扰动后的对角矩阵；基于所述左奇异矩阵、所述扰动后的对角矩阵和所述右奇异矩阵，得到扰动后的数据矩阵；使用预设的高斯随机矩阵，对所述扰动后的数据矩阵进行随机变换，得到协方差矩阵；所述协方差矩阵用于发布所述待共享的数据。
-
公开(公告)号：CN113032835A
公开(公告)日：2021-06-25
申请号：CN202110433119.8
申请日：2021-04-21
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述方法由参与训练的多个数据方中的某一数据方实现，所述方法包括对数据方持有的模型进行多轮迭代更新，所述模型包括共享部分和专有部分，其中，一轮迭代更新包括：基于自身持有的训练样本对模型进行迭代训练，得到模型数据；传输第一共享数据至服务器，以便使服务器基于多个数据方的第一共享参数确定第二共享数据；获取服务器返回的第二共享数据，并基于第二共享数据更新模型的共享部分；基于更新后的模型以进行下一轮迭代更新，或将更新后的模型作为最终模型。
-
公开(公告)号：CN114239860B
公开(公告)日：2024-07-02
申请号：CN202111489067.2
申请日：2021-12-07
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的模型训练方法及装置，通过本说明书实施例提供的方法和装置，在安全计算过程中，利用高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系，以及在训练周期达到一定阈值的极限情况下高斯差分隐私空间中用于衡量累积隐私损失的参数μ与所添加的高斯噪声的方差σ2之间满足的关系，建立(ε，δ)差分隐私与所添加高斯噪声的方差σ2之间的关联关系。从而，一方面，可以根据高斯机制中的参数确定多次迭代累积的隐私损失，对模型性能进行衡量和管控，另一方面，根据给定的隐私预算，反向指导单次迭代过程中应该添加的高斯噪声的方差σ2，以加入适当的噪声。
-
公开(公告)号：CN114239860A
公开(公告)日：2022-03-25
申请号：CN202111489067.2
申请日：2021-12-07
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的模型训练方法及装置，通过本说明书实施例提供的方法和装置，在安全计算过程中，利用高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系，以及在训练周期达到一定阈值的极限情况下高斯差分隐私空间中用于衡量累积隐私损失的参数μ与所添加的高斯噪声的方差σ2之间满足的关系，建立(ε，δ)差分隐私与所添加高斯噪声的方差σ2之间的关联关系。从而，一方面，可以根据高斯机制中的参数确定多次迭代累积的隐私损失，对模型性能进行衡量和管控，另一方面，根据给定的隐私预算，反向指导单次迭代过程中应该添加的高斯噪声的方差σ2，以加入适当的噪声。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.03 seconds)
