-
公开(公告)号:CN110929887B
公开(公告)日:2020-07-03
申请号:CN202010096283.X
申请日:2020-02-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提供用于经由多个训练参与方来训练逻辑回归模型的方法和装置。在该方法中,逻辑回归模型被垂直切分为多个子模型,每个训练参与方具有一个子模型以及经过垂直切分后得到的特征数据子集。在训练时,第一训练参与方将标记值分解为多个部分标记值,并分别向各个第二训练参与方发送一个部分标记值。在各个训练参与方处,基于各自的当前子模型、特征数据子集以及部分标记值,确定该训练参与方处的预测差值。基于各个训练参与方的预测差值确定总预测差值。然后,各个训练参与方基于总预测差值和各自的特征数据子集,确定出对应的模型更新量并进行子模型更新。利用该方法,能够保证各个模型训练参与方处的私有数据的数据安全。
-
公开(公告)号:CN111160573B
公开(公告)日:2020-06-30
申请号:CN202010251506.5
申请日:2020-04-01
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法和装置,其中双方各自拥有一部分特征数据。在模型迭代过程中,双方通过安全矩阵乘法,得到总的特征矩阵X与总的参数矩阵W的乘积结果的加密分片。由拥有标签的第二方汇总这两个加密分片,得到加密的乘积结果Z。第二方基于该乘积结果Z与加密的标签Y,得到加密的误差E,并对其进行同态加密下的秘密分享。于是,双方各自得到误差分片。然后双方基于误差分片和各自的特征矩阵,通过秘密分享和安全矩阵乘法,得到对应的梯度分片。然后,第一方利用其梯度分片更新其维护的参数分片,第二方利用其梯度分片更新其维护的参数分片。如此实现保护数据隐私的安全联合训练。
-
公开(公告)号:CN111325417A
公开(公告)日:2020-06-23
申请号:CN202010409988.2
申请日:2020-05-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种实现隐私保护的多方协同更新业务预测模型的方法,其中多方包括服务器和多个数据方,该服务器部署针对业务对象的业务预测模型,该方法包括对业务预测模型进行任一轮迭代更新,具体包括:参与本轮迭代更新的第一数据方,从服务器获取第一当前参数部分,该第一当前参数部分是基于业务预测模型的当前模型参数进行随机选取而得到;第一数据方利用本地训练数据,更新上述第一当前参数部分,基于更新后参数的至少一部分,得到第一更新参数部分;第一数据方将该第一更新参数部分上传至服务器;服务器根据该第一更新参数部分,以及从参与本轮迭代更新的其他数据方接收的其他更新参数部分,更新业务预测模型。
-
公开(公告)号:CN111275189A
公开(公告)日:2020-06-12
申请号:CN202010114977.1
申请日:2020-02-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种网络表示学习方法、系统及装置。所述网络可以包括多个节点以及节点之间的关联关系,每个节点及每个关联关系分别对应于一个向量表示。所述方法可以包括以下操作:获取一组输入数据,所述输入数据包括网络中相互关联的第一节点以及第二节点的各自的向量表示,以及所述第一节点与所述第二节点之间的关联关系的向量表示;对于所述输入数据,利用基于生成对抗网络的表示学习模型,基于一次迭代,更新对应于所述第一节点、所述第二节点或所述关联关系的向量表示;依此,进行多次迭代直到满足停止迭代条件,获得所述网络中各节点或关联关系的目标向量表示。
-
公开(公告)号:CN111061963A
公开(公告)日:2020-04-24
申请号:CN201911194334.6
申请日:2019-11-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/9536 , G06F21/62
Abstract: 本说明书实施例提供基于多方安全计算的非线性机器学习模型训练方法、模型预测方法及装置。非线性机器学习模型被分解为多个子模型,每个子模型部署在对应训练参与方处。在每次循环时,将非线性机器学习模型的模型计算分割为至少一个第一模型计算和至少一个第二模型计算。针对各个第一模型计算,经由各个训练参与方使用对应模型参数以及训练样本数据或者在前第二模型计算的计算结果来进行多方安全计算。针对各个第二模型计算,使用在前第一模型计算的计算结果来在可信计算设备的可信执行环境中进行可信计算。在循环未结束时,根据预测差值调整各个训练参与方的子模型。利用该方法,能够在确保隐私数据安全的情况下提高模型训练效率。
-
公开(公告)号:CN110955907A
公开(公告)日:2020-04-03
申请号:CN201911285233.X
申请日:2019-12-13
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 公开了一种基于联邦学习的模型训练方法。为了保护服务端的隐私(模型参数)不泄露,服务端采用同态加密算法对模型参数集合进行加密后下发给节点,节点基于同态加密原理,使用加密后的模型参数与本地训练样本进行加密状态下的模型计算,得到加密梯度。随后,节点基于同态加密原理,计算加密梯度与加密随机数的差,这个差实质上是加密的某个无意义的值。接着,节点将加密后的值上传给服务端。此外,服务端可以利用SA协议,在不获知每个节点上的随机数的前提下,获知各节点上的随机数之和。如此,服务端就可以根据每个节点上传的加密后的值与各随机数之和来还原出每个节点产生的梯度之和,从而可以更新模型参数。
-
公开(公告)号:CN110889447A
公开(公告)日:2020-03-17
申请号:CN201911174424.9
申请日:2019-11-26
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种基于多方安全计算检验线性回归模型的特征显著性的方法和装置,所述方法由多个数据持有方中第一数据持有方的设备执行,多个数据持有方各自的设备中共同存储了N个样本和所述模型的模型参数,所述方法包括:与其它数据持有方的设备联合执行基于秘密分享的矩阵加法和矩阵乘法,获取所述N个样本的误差平方和;与其它数据持有方设备联合执行基于秘密分享的矩阵加法和/或矩阵乘法,获取第一矩阵对角线上第j项的值;计算与第j个t检验值对应的第二数值;与其它数据持有方的设备联合执行基于秘密分享的矩阵加法,获取所述第j个t检验值,以基于所述第j个t检验值确定所述线性回归模型的相应特征的显著性。
-
公开(公告)号:CN110795631A
公开(公告)日:2020-02-14
申请号:CN201911039125.4
申请日:2019-10-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/9535 , G06F16/9537 , G06Q30/06 , G06N20/00 , H04L29/08
Abstract: 本说明书实施例提供了一种由用户终端执行的推送模型的优化方法和装置以及基于其的预测方法和装置,所述优化方法包括:获取第一用户针对第一对象的第一行为数据;从服务器接收所述第一对象的当前特征数据和当前的特征交叉模型;基于第一行为数据、第一用户的当前特征数据、第一对象的当前特征数据、当前的线性模型、以及当前的特征交叉模型,计算用于优化线性模型的第一梯度数据;确定所述第一用户的当前的预定数目的邻居用户;将所述第一梯度数据分别发送给所述预定数目的邻居用户各自的终端,以使得每个邻居用户的终端基于所述第一梯度数据分别优化其本地的线性模型,该方法通过多方安全计算保护各个终端的用户隐私不泄露给服务器端。
-
公开(公告)号:CN110782044A
公开(公告)日:2020-02-11
申请号:CN201911040222.5
申请日:2019-10-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种多方联合训练图神经网络的方法和装置。多方包括多个数据持有方和服务器;图神经网络包括图嵌入子网络和分类子网络。各数据持有方各自维护图嵌入子网络的一部分,服务器维护分类子网络。任意的数据持有方在其维护的图嵌入子网络中,通过多方安全计算MPC,与其他持有方联合计算样本的初级嵌入向量,并根据本地的图结构对节点进行多级邻居聚合,得到节点的高阶嵌入向量,发给服务器。服务器利用分类子网络对来自各个数据持有方的高阶嵌入向量进行综合,据此进行分类预测,确定损失。损失梯度从服务器中的分类子网络传递回数据持有方中的图嵌入子网络,实现整个图神经网络的联合训练。本发明实施例保护了各方的数据隐私。
-
公开(公告)号:CN110751330A
公开(公告)日:2020-02-04
申请号:CN201910995202.7
申请日:2019-10-18
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种基于树模型的预测方法和装置,其中,所述方法由树模型的模型拥有方执行、针对数据拥有方中的第一对象进行预测,所述方法包括:对n个节点确定随机排列顺序;依据随机排列顺序依次对n个节点中的每个节点执行:将该节点对应的第一特征发送给数据拥有方;与数据拥有方共同执行比较计算,以获取该节点的特征分裂值与第一对象的第一特征的特征值的比较结果,所述比较计算使得对于模型拥有方隐藏第一对象的第一特征的特征值,对于数据拥有方隐藏该节点的特征分裂值;基于n个节点中每个节点的所述比较结果、n个节点中每个节点在所述树模型中的位置,通过所述树模型输出对所述第一对象的预测结果。
-
-
-
-
-
-
-
-
-