一种图神经网络的预训练方法及装置

    公开(公告)号:CN114819139A

    公开(公告)日:2022-07-29

    申请号:CN202210315789.4

    申请日:2022-03-28

    Abstract: 本说明书实施例提供一种图神经网络的预训练方法及装置,获取业务关系图的图集合,各业务关系图中的节点表示业务对象,连接边表示业务关联关系;图集合包括第一图和目标图,第一图和目标图基于同一样本业务关系图分别进行预设增强处理而得到;针对第一图,分别将图集合中各其他图作为第二图,利用图神经网络进行图间匹配表征,图间匹配表征包括,基于第一图自身,结合来自第二图的节点信息,确定该第一图的第一图表征,用于表示第一图相对于第二图的业务结构关联;基于第二图自身,结合来自第一图的节点信息,确定该第二图的第二图表征;至少基于将目标图作为第二图时得到的第一图表征和第二图表征,确定第一损失;根据第一损失,训练图神经网络。

    图像识别模型的训练方法及装置、图像识别方法及装置

    公开(公告)号:CN111275120B

    公开(公告)日:2022-07-26

    申请号:CN202010075299.2

    申请日:2020-01-22

    Abstract: 本说明书实施例公开了一种图像识别模型的训练方法及装置、图像识别方法及装置。其中,训练方法包括:将待训练的第二图像识别模型中的每层卷积神经网络,分别与训练完的第一图像识别模型中的一个子网络相对应。根据训练完的第一图像识别模型中每个子网络的输入和输出,对待训练的第二图像识别模型中的每层卷积神经网络的参数进行初始化处理。将样本图像输入参数初始化处理后的待训练的第二图像识别模型,根据待训练的第二图像识别模型的输出和样本图像的标签,对待训练的第二图像识别模型进行训练。由此,实现了根据训练完的第一图像识别模型,对待训练的第二图像识别模型进行参数初始化处理,以加快对待训练的第二图像识别模型进行的训练。

    一种样本生成方法、装置以及设备

    公开(公告)号:CN114781488A

    公开(公告)日:2022-07-22

    申请号:CN202210295588.2

    申请日:2022-03-24

    Abstract: 本说明书实施例公开了一种样本生成方法、装置以及设备。方案包括:根据物品特征,以及用户对物品特征的注意力特征,通过模型预测第一样本用户对第一物品的第一偏好分和对第二物品的第二偏好分,第一偏好分高于第二偏好分;根据设定的注意力扰动参数,对第一样本用户的注意力特征进行调整,并根据调整后的注意力特征,对第一偏好分和第二偏好数据进行更新;以减小更新后的第一偏好分与第二偏好分之间的差距为目标,学习注意力扰动参数的目标取值;在目标取值下,若更新后的第一偏好分低于第二偏好分,则根据调整后的注意力特征,生成第二样本用户,用于训练模型。

    一种个性化的隐私保护学习方法、装置以及设备

    公开(公告)号:CN112819177B

    公开(公告)日:2022-07-12

    申请号:CN202110106050.8

    申请日:2021-01-26

    Abstract: 本说明书实施例公开了一种个性化的隐私保护学习方法、装置以及设备。方案应用于第一参与端,包括:确定全局模型和第一参与端的局部模型;通过与多个第二参与端进行联邦学习,协同训练全局模型,得到第一训练结果;根据第一参与端的训练数据,训练第一参与端的局部模型,得到第二训练结果;根据第一训练结果和第二训练结果,训练第一参与端的局部模型。

    一种基于可选隐私数据进行模型训练的方法及系统

    公开(公告)号:CN111062492B

    公开(公告)日:2022-05-17

    申请号:CN201911329551.1

    申请日:2019-12-20

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书一个或多个实施例涉及一种基于可选隐私数据进行模型训练的方法及系统,该方法包括:接收至少来自第一终端和第二终端的第一类数据;并基于接收到的第一类数据及其对应的模型参数计算第一类累计数据;通过多方安全计算的方式获取累计损失值;累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定;将累计损失值参与第一类累计梯度和第二类累计梯度的计算,第一类累计梯度和第二类累计梯度用于更新至少基于第一终端和第二终端的模型的联合训练模型的参数;第一终端和第二终端分别持有第一训练数据和第二训练数据,第一训练数据和所述第二训练数据包括对应不同隐私等级的第一类数据和第二类数据。

    一种基于联邦学习的模型训练方法

    公开(公告)号:CN110955907B

    公开(公告)日:2022-03-25

    申请号:CN201911285233.X

    申请日:2019-12-13

    Inventor: 王力 陈超超 周俊

    Abstract: 公开了一种基于联邦学习的模型训练方法。为了保护服务端的隐私(模型参数)不泄露,服务端采用同态加密算法对模型参数集合进行加密后下发给节点,节点基于同态加密原理,使用加密后的模型参数与本地训练样本进行加密状态下的模型计算,得到加密梯度。随后,节点基于同态加密原理,计算加密梯度与加密随机数的差,这个差实质上是加密的某个无意义的值。接着,节点将加密后的值上传给服务端。此外,服务端可以利用SA协议,在不获知每个节点上的随机数的前提下,获知各节点上的随机数之和。如此,服务端就可以根据每个节点上传的加密后的值与各随机数之和来还原出每个节点产生的梯度之和,从而可以更新模型参数。

    保护数据隐私的模型训练、预测方法及其系统

    公开(公告)号:CN111125760B

    公开(公告)日:2022-02-15

    申请号:CN201911334587.9

    申请日:2019-12-20

    Inventor: 周俊

    Abstract: 本说明书中的实施例提供了保护数据隐私的模型训练、预测方法及其系统,其技术要点包括:训练的模型包括包含输入层的第一部分和包含输出层的第二部分,所述方法包括:对于任一训练样本,获取所述训练样本的特征值,所述第一部分基于所述特征值得到的模型中间值,所述第二部分基于所述模型中间值得到的输出结果,以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值;调节所述模型的参数和/或结构,以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异。

    资源预测方法和装置
    39.
    发明公开

    公开(公告)号:CN113485833A

    公开(公告)日:2021-10-08

    申请号:CN202110780138.8

    申请日:2021-07-09

    Inventor: 李龙飞 周俊

    Abstract: 本公开披露了一种资源预测方法和装置。所述方法包括:接收集群的待处理任务;从预设的多种资源预测方式中选择与所述待处理任务对应的资源预测方式;根据所述待处理任务对应的资源预测方式,对所述待处理任务所需的目标资源进行预测;其中,所述多种资源预测方式包括第一资源预测方式和第二资源预测方式,所述第一资源预测方式基于预先训练的机器学习模型对所述目标资源进行预测,所述第二资源预测方式基于所述集群在滑动窗口期内的任务的资源使用数据对所述目标资源进行预测。

    调度机器学习任务的方法及装置

    公开(公告)号:CN113419837A

    公开(公告)日:2021-09-21

    申请号:CN202110782059.0

    申请日:2021-07-09

    Inventor: 李龙飞 周俊

    Abstract: 本公开披露了一种调度机器学习任务的方法和装置。所述方法包括:接收用户向集群提交的机器学习任务,所述集群配置有能够执行所述机器学习任务的多种机器学习模型;根据所述多种机器学习模型的模型统计信息,从所述多种机器学习模型中选择目标机器学习模型;将所述机器学习任务调度至所述集群的目标工作节点,并指示所述目标工作节点采用所述目标机器学习模型处理所述机器学习任务。

Patent Agency Ranking