-
公开(公告)号：CN112052942B
公开(公告)日：2022-04-12
申请号：CN202010986099.2
申请日：2020-09-18
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供神经网络模型训练方法及装置。神经网络模型包括位于各个第一成员设备的第一神经网络子模型。各个第一成员设备使用私有数据进行模型预测得到预测标签数据并确定第一神经网络子模型的模型更新信息，将第一神经网络子模型的模型更新信息和本地样本分布信息提供给第二成员设备。第二成员设备根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构，根据各个第一成员设备的本地样本分布信息确定整体样本概率分布，并将重构后的神经网络模型和整体样本概率分布分发给各个第一成员设备。各个第一成员设备根据本地样本概率分布、重构后的神经网络模型以及整体样本概率分布更新第一神经网络子模型。
-
公开(公告)号：CN112508194B
公开(公告)日：2022-03-18
申请号：CN202110142167.1
申请日：2021-02-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供了模型压缩方法、系统和计算设备。该方法包括：通过至少一个计算设备：加载目标模型，所述目标模型包括多个特征嵌入向量；用训练数据集中至少部分数据训练所述目标模型，直至所述目标模型的损失函数收敛到预设范围内；以及执行模型压缩操作，所述模型压缩操作包括：基于所述训练，自主确定所述多个特征嵌入向量中的至少K个候选特征嵌入向量，所述K为自然数；从所述目标模型中删除所述至少K个候选特征嵌入向量，获得更新后的目标模型；以及用所述训练数据集中至少部分数据训练所述更新后的目标模型，直至所述更新后的目标模型的损失函数收敛到所述预设范围内。
-
公开(公告)号：CN110851482B
公开(公告)日：2022-02-18
申请号：CN201911080553.1
申请日：2019-11-07
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/2457
Abstract: 本说明书实施例提供了为多个数据方提供数据模型的方法和装置。根据一个实施方式，先利用多个数据方分别提供的用户数据训练第一模型，确定第一模型的多个模型参数，然后分别确定各个数据方所提供的用户数据对第一模型的各个数据贡献度，接着，按照各个数据贡献度的大小，确定分别针对各个数据方提供数据模型的各个提供方案，以根据各个提供方案向相应数据方提供第一模型。该实施方式用于多方安全计算时，可以在保护各个数据方的私有数据的基础上，激励各个数据方提供高质量的数据，达到共享数据的目的，从而提高训练的数据模型的有效性。
-
公开(公告)号：CN113822371A
公开(公告)日：2021-12-21
申请号：CN202111163343.6
申请日：2021-09-30
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了训练分组模型，以及对时序数据进行分组的方法。训练分组模型的方法包括以下步骤：获取时序样本集，其中任意样本包括，单个业务对象在n个时段的n个指标值构成的序列。将上述样本输入分组模型，得到该样本分属于K个分组的预测概率分布。此外，还将该样本分别输入与K个分组对应的K个解码网络，得到K个重构样本。于是，可以根据样本集中各个样本的预测概率分布与预设的先验分布，确定总分布损失；并根据各个样本分别对应的K个重构样本，以及预测概率分布，确定总重构损失。然后根据总分布损失和总重构损失，训练分组模型和K个解码网络。在训练之后，可以利用训练好的分组模型，对微观时序样本进行分组。
-
公开(公告)号：CN111915023B
公开(公告)日：2021-09-07
申请号：CN202010884802.9
申请日：2020-08-28
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于联邦学习的超参数确定方法及装置。该方法用于确定业务预测模型的超参数，该业务预测模型的多个计算层被划分为包含连续后M个计算层的第一部分模型和包含剩余计算层的第二部分模型，第一部分模型部署在服务器中，第二部分模型部署在多个训练成员中。在任意一次超参迭代过程中，服务器将第一超参数组中的多个超参数向量分别发送至对应的训练成员，并与多个训练成员之间，多次执行针对业务预测模型的模型迭代过程，在多次模型迭代过程完成后，利用安全聚合算法，基于多个训练成员利用各自的测试集得到的业务预测模型的分立预测性能值，确定聚合预测性能值，基于聚合预测性能值，更新第一超参数组。
-
Patent Agency Ranking
公开(公告)号：CN112948836A
公开(公告)日：2021-06-11
申请号：CN202110137427.6
申请日：2020-11-16
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对其中任意的第一网络层，在固定其他网络层参数的情况下，利用上述训练数据对该第一网络层进行第一调参，得到第一微调模型；确定该第一微调模型对应预设性能指标的第一指标值，该预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在上述训练数据上的训练损失之间的相对大小；同理，利用训练数据和测试数据对该第一网络层进行第二调参，得到第二微调模型，并确定第二指标值；基于第一指标值和第二指标值的相对大小，确定第一网络层对应的信息敏感度，在其大于预定阈值的情况下，对第一网络层进行安全处理。
-
公开(公告)号：CN112836868A
公开(公告)日：2021-05-25
申请号：CN202110090818.7
申请日：2021-01-22
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 说明书披露一种链接预测模型的联合训练方法和装置。所述方法由多个数据持有方联合训练，各个数据持有方均配置有初始链接预测模型，且均构造有本方知识图谱，应用于任一数据持有方，包括：针对本方知识图谱中的目标实体，基于本方持有的目标实体的本方属性，采用多方安全计算技术联合其他数据持有方持有的目标实体的他方属性，确定目标实体的全局属性；基于全局属性确定目标实体的实体特征；基于实体特征和本方持有的目标实体的连边对本方初始链接预测模型进行训练。采用上述方法可以在保证各个数据持有方隐私的基础上联合训练得到性能更好的链接预测模型。
-
公开(公告)号：CN112819177A
公开(公告)日：2021-05-18
申请号：CN202110106050.8
申请日：2021-01-26
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种个性化的隐私保护学习方法、装置以及设备。方案应用于第一参与端，包括：确定全局模型和第一参与端的局部模型；通过与多个第二参与端进行联邦学习，协同训练全局模型，得到第一训练结果；根据第一参与端的训练数据，训练第一参与端的局部模型，得到第二训练结果；根据第一训练结果和第二训练结果，训练第一参与端的局部模型。
-
公开(公告)号：CN111079939B
公开(公告)日：2021-04-20
申请号：CN201911194023.X
申请日：2019-11-28
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供用于基于数据隐私保护的机器学习模型特征筛选的方法。机器学习模型具有模型特征集，并且机器学习模型的特征数据被水平切分地分布在第一数据拥有方和至少一个第二数据拥有方处，每个数据拥有方具有与模型特征集对应的特征数据。第一数据拥有方和至少一个第二数据拥有方协同来使用第一数据拥有方的特征数据进行多方安全计算，以训练出待筛选模型特征的预测模型。在第一数据拥有方处，基于待筛选模型特征的预测差值确定待筛选模型特征的方差膨胀因子，以用于对待筛选模型特征进行模型特征筛选处理。
-
公开(公告)号：CN112132270B
公开(公告)日：2021-03-23
申请号：CN202011325643.5
申请日：2020-11-24
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供基于隐私保护的神经网络模型训练方法、装置及系统。每个第一成员设备具有本地数据并且部署至少一个客户端模型，第二成员设备部署至少一个服务端模型，至少一个客户端模型和至少一个服务端模型按照模型间隔方式组成神经网络模型。在每次循环时，各个第一成员设备和第二成员设备使用第一成员设备的本地数据执行模型预测计算。对于每个客户端模型，各个第一成员设备使用本地数据或者在前服务端模型的模型计算结果进行多方安全计算。对于每个服务端模型，第二成员设备使用在前客户端模型的模型计算结果执行本地计算。基于模型预测值确定预测差值，并且在各个成员设备处通过反向传播方式来使用加噪声的梯度下降法进行模型更新。
-
-
-
-
-
-
-
-
-
Search Results
448
records
(took 0.092 seconds)
