-
公开(公告)号:CN111259366B
公开(公告)日:2021-06-18
申请号:CN202010075467.8
申请日:2020-01-22
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 熊涛
Abstract: 本发明实施例提供了一种计算机执行的验证码识别器的训练方法和装置,其中验证码识别器包括特征提取器和分类器。特征提取器通过自监督方式进行训练,训练过程包括,首先获取无标签的验证码图像;将验证码图像划分为多个图块。利用特征提取器分别提取各个图块的特征,得到各个图块的编码向量。从多个图块中选取连续的图块序列,利用回归网络,基于图块序列中前面若干图块的编码向量,确定隐含向量,并基于该隐含向量确定序列中后续图块的预测向量。然后,基于后续图块的编码向量和预测向量,确定预测损失;根据该预测损失,训练特征提取器和回归网络。在训练好特征提取器后,基于特征提取器,利用有监督的方式训练分类器。
-
公开(公告)号:CN112541592A
公开(公告)日:2021-03-23
申请号:CN202011409580.1
申请日:2020-12-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于差分隐私的联邦学习方法及装置、电子设备,该方法应用于任一终端设备,包括多次迭代,每次迭代包括:基于训练数据和当前本地参数,确定待处理的第一梯度向量,该第一梯度向量的欧式范数小于等于预设范数,对第一梯度向量进行多级量化处理,得到第二梯度向量,在第二梯度向量的向量空间中,基于第二梯度向量,生成第一向量集合和第二向量集合,进行满足差分隐私的采样,以从第一向量集合或第二向量集合中随机采样出第三梯度向量。对第三梯度向量进行归一化,得到目标梯度向量,并向服务器上传目标梯度向量。能够提高联邦学习过程中的通讯效率,从而提高了联邦学习的效率。
-
公开(公告)号:CN112101946B
公开(公告)日:2021-02-19
申请号:CN202011310524.2
申请日:2020-11-20
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 熊涛
Abstract: 本说明书实施例提供一种联合训练业务模型的方法,通过数据方局部编码模型与服务方全局模型的架构,在数据传递方面,仅由各个数据方传递维度较小的表征向量,以及由服务方回传表征向量对应的梯度数据,大大降低大规模模型训练过程中传递的参数量。另外,在数据方确定本地数据的表征向量过程中,一方面可以使用自定义的编码网络,充分适应数据异构的需求,另一方面,在编码模型中增加噪声层,以在预定隐私代价下,保持模型预测结果的鲁棒性,从而,可以有效保护数据隐私。总之,以上方法可以提高大规模联合训练业务模型的有效性。
-
公开(公告)号:CN112101946A
公开(公告)日:2020-12-18
申请号:CN202011310524.2
申请日:2020-11-20
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 熊涛
Abstract: 本说明书实施例提供一种联合训练业务模型的方法,通过数据方局部编码模型与服务方全局模型的架构,在数据传递方面,仅由各个数据方传递维度较小的表征向量,以及由服务方回传表征向量对应的梯度数据,大大降低大规模模型训练过程中传递的参数量。另外,在数据方确定本地数据的表征向量过程中,一方面可以使用自定义的编码网络,充分适应数据异构的需求,另一方面,在编码模型中增加噪声层,以在预定隐私代价下,保持模型预测结果的鲁棒性,从而,可以有效保护数据隐私。总之,以上方法可以提高大规模联合训练业务模型的有效性。
-
公开(公告)号:CN111159773B
公开(公告)日:2020-11-03
申请号:CN202010251495.0
申请日:2020-04-01
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 熊涛
Abstract: 本说明书实施例提供一种保护数据隐私的图片分类方法。该方法的执行主体为数据持有方,其中存储多个隐私图片和对应的多个类别标签,该方法包括:首先,针对该多个隐私图片中任意的第一隐私图片,确定与该第一隐私图片对应的多个特征值,组成第一原始特征矩阵;接着,对该第一原始特征矩阵中位于预定矩阵区域的部分特征值,进行预定变换,得到第一变换特征矩阵;然后,将得到的对应于该多个隐私图片的多个变换特征矩阵,以及该多个类别标签发送至模型训练方,以使其训练出图片分类模型,用于对待分类的目标图片进行分类。如此,可以同时实现保护隐私图片的数据隐私和防御针对图片分类模型的对抗攻击。
-
公开(公告)号:CN111552846A
公开(公告)日:2020-08-18
申请号:CN202010352308.8
申请日:2020-04-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/901 , G06F16/906 , G06K9/62 , G06Q30/06 , G06Q50/00
Abstract: 本说明书实施例提供识别可疑关系的方法以及装置,其中所述方法包括:对关系网络进行社区检测,得到多个社区子图,其中,所述关系网络是根据网络平台上各方之间的关系数据构建的;通过将所述多个社区子图与可疑关系知识库中的各个已知可疑关系网络进行关联度计算,为所述多个社区子图分别设置关联的已知可疑关系网络的关系分类标签;抽取出所述多个社区子图各自的关系特征;通过将所述多个社区子图各自的关系特征以及各自的关系分类标签作为输入进行监督学习,得到所述多个社区子图各自的关系特征的权重;依据所述多个社区子图各自的关系特征的权重,确定对应关系分类标签下的可疑关系。
-
公开(公告)号:CN111291183A
公开(公告)日:2020-06-16
申请号:CN202010049397.9
申请日:2020-01-16
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 熊涛
Abstract: 本说明书实施例提供一种利用文本分类模型进行分类预测的方法和装置,其中文本分类模型包括嵌入层、卷积层、注意力层和分类器。分类预测方法包括,预先对K个类别对应的标签描述文本进行词嵌入,得到K个标签向量。预测时,利用嵌入层对输入文本进行词嵌入,得到词向量序列;在卷积层,利用不同宽度的卷积窗口,对词向量序列进行卷积处理,得到片段向量序列。然后,在注意力层,分别对各个向量序列进行第一注意力处理,包括,根据向量序列中向量元素与K个标签向量之间的相似度,确定其权重因子,进而加权求和得到第一序列向量。基于各个序列的第一序列向量得到输入文本的表征向量,于是分类器基于表征向量,得到输入文本的类别预测结果。
-
-
-
-
-
-