一种网络模型训练、推送内容确定方法及装置

    公开(公告)号:CN114781625B

    公开(公告)日:2022-09-23

    申请号:CN202210659314.7

    申请日:2022-06-13

    Abstract: 本说明书实施例提供了一种网络模型训练、推送内容确定方法及装置。网络模型包括自注意力网络和第一神经网络,该网络模型用于确定用户针对待推送内容的偏好评分,计算设备可以基于该偏好评分确定针对用户的推送内容。在训练网络模型时,可以基于用户的历史点击行为的时间戳,在预设维度空间中进行时间映射,得到时间编码;基于历史点击行为包含的点击内容和对应的时间编码,生成用户的时间序列特征;利用自注意力网络,基于时间序列特征和待推送内容,确定用于表征用户的历史点击行为与待推送内容之间关系的第一输出结果;利用第一神经网络,基于第一输出结果和用户的第一特征,确定用户针对待推送内容的偏好评分,基于偏好评分更新网络模型。

    对抗样本的生成方法及装置

    公开(公告)号:CN112200257B

    公开(公告)日:2022-08-19

    申请号:CN202011112696.9

    申请日:2020-10-16

    Abstract: 本说明书实施例提供一种对抗样本的生成方法,所述对抗样本对应m维样本向量,用于攻击特定模型;该方法包括:确定m维空间的n维子空间所对应的m*n维投影矩阵,再基于该m*n维投影矩阵,对当前对抗样本进行多轮迭代更新,其中任一轮迭代更新包括:先从该n维子空间中随机采样b个高斯向量;接着,利用该m*n维投影矩阵,将所述b个高斯向量映射回该m维空间,得到b个干扰向量;再将所述b个干扰向量分别添加至当前对抗样本对应的样本向量,得到b个查询样本,并查询该所述b个查询样本是否对所述特定模型攻击成功;再基于b个干扰向量和对应的b个查询结果,估计样本梯度向量,并利用该样本梯度向量,更新上述当前对抗样本。

    一种资源调配方法、装置以及设备

    公开(公告)号:CN114840342A

    公开(公告)日:2022-08-02

    申请号:CN202210519426.2

    申请日:2022-05-13

    Abstract: 本说明书实施例公开了一种资源调配方法、装置以及设备,属于机器学习技术领域。方案包括:确定确定与可用资源相关的业务属性,并待预测的用于描述所述业务属性变化情况的宏观时间序列所对应的多个微观时间序列;对所述多个微观时间序列进行聚类,得到多个微观时间序列组;分别对各所述微观时间序列组进行预测,得到各所述微观时间序列组的预测值;根据各所述微观时间序列组的预测值,预测得到所述宏观时间序列的预测值;根据所述宏观时间序列的预测值,向所述业务属性对应的业务调配所述可用资源。

    一种图神经网络的预训练方法及装置

    公开(公告)号:CN114819139A

    公开(公告)日:2022-07-29

    申请号:CN202210315789.4

    申请日:2022-03-28

    Abstract: 本说明书实施例提供一种图神经网络的预训练方法及装置,获取业务关系图的图集合,各业务关系图中的节点表示业务对象,连接边表示业务关联关系;图集合包括第一图和目标图,第一图和目标图基于同一样本业务关系图分别进行预设增强处理而得到;针对第一图,分别将图集合中各其他图作为第二图,利用图神经网络进行图间匹配表征,图间匹配表征包括,基于第一图自身,结合来自第二图的节点信息,确定该第一图的第一图表征,用于表示第一图相对于第二图的业务结构关联;基于第二图自身,结合来自第一图的节点信息,确定该第二图的第二图表征;至少基于将目标图作为第二图时得到的第一图表征和第二图表征,确定第一损失;根据第一损失,训练图神经网络。

    图像识别模型的训练方法及装置、图像识别方法及装置

    公开(公告)号:CN111275120B

    公开(公告)日:2022-07-26

    申请号:CN202010075299.2

    申请日:2020-01-22

    Abstract: 本说明书实施例公开了一种图像识别模型的训练方法及装置、图像识别方法及装置。其中,训练方法包括:将待训练的第二图像识别模型中的每层卷积神经网络,分别与训练完的第一图像识别模型中的一个子网络相对应。根据训练完的第一图像识别模型中每个子网络的输入和输出,对待训练的第二图像识别模型中的每层卷积神经网络的参数进行初始化处理。将样本图像输入参数初始化处理后的待训练的第二图像识别模型,根据待训练的第二图像识别模型的输出和样本图像的标签,对待训练的第二图像识别模型进行训练。由此,实现了根据训练完的第一图像识别模型,对待训练的第二图像识别模型进行参数初始化处理,以加快对待训练的第二图像识别模型进行的训练。

    一种样本生成方法、装置以及设备

    公开(公告)号:CN114781488A

    公开(公告)日:2022-07-22

    申请号:CN202210295588.2

    申请日:2022-03-24

    Abstract: 本说明书实施例公开了一种样本生成方法、装置以及设备。方案包括:根据物品特征,以及用户对物品特征的注意力特征,通过模型预测第一样本用户对第一物品的第一偏好分和对第二物品的第二偏好分,第一偏好分高于第二偏好分;根据设定的注意力扰动参数,对第一样本用户的注意力特征进行调整,并根据调整后的注意力特征,对第一偏好分和第二偏好数据进行更新;以减小更新后的第一偏好分与第二偏好分之间的差距为目标,学习注意力扰动参数的目标取值;在目标取值下,若更新后的第一偏好分低于第二偏好分,则根据调整后的注意力特征,生成第二样本用户,用于训练模型。

    一种个性化的隐私保护学习方法、装置以及设备

    公开(公告)号:CN112819177B

    公开(公告)日:2022-07-12

    申请号:CN202110106050.8

    申请日:2021-01-26

    Abstract: 本说明书实施例公开了一种个性化的隐私保护学习方法、装置以及设备。方案应用于第一参与端,包括:确定全局模型和第一参与端的局部模型;通过与多个第二参与端进行联邦学习,协同训练全局模型,得到第一训练结果;根据第一参与端的训练数据,训练第一参与端的局部模型,得到第二训练结果;根据第一训练结果和第二训练结果,训练第一参与端的局部模型。

    一种基于可选隐私数据进行模型训练的方法及系统

    公开(公告)号:CN111062492B

    公开(公告)日:2022-05-17

    申请号:CN201911329551.1

    申请日:2019-12-20

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书一个或多个实施例涉及一种基于可选隐私数据进行模型训练的方法及系统,该方法包括:接收至少来自第一终端和第二终端的第一类数据;并基于接收到的第一类数据及其对应的模型参数计算第一类累计数据;通过多方安全计算的方式获取累计损失值;累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定;将累计损失值参与第一类累计梯度和第二类累计梯度的计算,第一类累计梯度和第二类累计梯度用于更新至少基于第一终端和第二终端的模型的联合训练模型的参数;第一终端和第二终端分别持有第一训练数据和第二训练数据,第一训练数据和所述第二训练数据包括对应不同隐私等级的第一类数据和第二类数据。

    一种基于联邦学习的模型训练方法

    公开(公告)号:CN110955907B

    公开(公告)日:2022-03-25

    申请号:CN201911285233.X

    申请日:2019-12-13

    Inventor: 王力 陈超超 周俊

    Abstract: 公开了一种基于联邦学习的模型训练方法。为了保护服务端的隐私(模型参数)不泄露,服务端采用同态加密算法对模型参数集合进行加密后下发给节点,节点基于同态加密原理,使用加密后的模型参数与本地训练样本进行加密状态下的模型计算,得到加密梯度。随后,节点基于同态加密原理,计算加密梯度与加密随机数的差,这个差实质上是加密的某个无意义的值。接着,节点将加密后的值上传给服务端。此外,服务端可以利用SA协议,在不获知每个节点上的随机数的前提下,获知各节点上的随机数之和。如此,服务端就可以根据每个节点上传的加密后的值与各随机数之和来还原出每个节点产生的梯度之和,从而可以更新模型参数。

Patent Agency Ranking