一种模型更新方法、装置及电子设备

    公开(公告)号:CN116954640A

    公开(公告)日:2023-10-27

    申请号:CN202210325242.2

    申请日:2022-03-30

    Inventor: 黄斌 丁健 叶挺群

    Abstract: 本发明实施例提供了一种模型更新方法、装置及电子设备。其中,所述方法包括:获取服务器发送的中间格式数据和位置信息,所述中间格式数据用于表示第二模型,所述第二模型为所述服务器对所述第一模型进行训练得到的,所述位置信息用于表示所述中间格式数据的参数区的位置,所述参数区用于记录模型参数;根据所述位置信息,读取所述中间格式数据的参数区记录的模型参数,作为目标模型参数;根据所述目标模型参数,更新所述第一可执行格式数据的参数区,得到第二可执行格式数据,其中,所述第二可执行格式数据的参数区记录的模型参数为所述目标模型参数。可以降低模型更新对于端侧设备的硬件性能的要求。

    3D卷积神经网络在神经网络处理器上的处理方法和装置

    公开(公告)号:CN111985617B

    公开(公告)日:2023-09-26

    申请号:CN202010820483.5

    申请日:2020-08-14

    Inventor: 黄斌

    Abstract: 本申请提供3D卷积神经网络在神经网络处理器上的处理方法和装置。本申请中,将图序列在时间维度上拆分后与P3D卷积层的第一卷积核进行第一次卷积运算,得到多个第一2D特征图,然后将第一2D特征图划分后再拼接到通道维度上,得到多个2D拼接图;同时,将P3D卷积层的第二卷积核在时间维度上的数据拼接到通道维度上,得到2D拼接卷积核,并基于该2D拼接图和2D拼接卷积核进行第二次卷积运算。由此,神经网络处理器实现了支持3D神经网络的卷积处理。同时,本申请还将P3D池化层进行池化操作步骤的转换,分别进行了第一池化操作和第二次池化操作,实现了神经网络处理器支持3D卷积神经网络的池化处理。

    一种联邦学习方法、装置及电子设备

    公开(公告)号:CN115906933A

    公开(公告)日:2023-04-04

    申请号:CN202211213118.3

    申请日:2022-09-29

    Abstract: 本申请实施例提供了一种联邦学习方法、装置及电子设备。其中,所述方法,包括:获取多个客户端各自训练待训练模型得到的模型参数,作为候选模型参数;在以模型参数中各参数的取值为维度的模型参数空间中,分别确定各所述候选模型参数的邻域内所述候选模型参数的密度,作为所述候选模型参数对应的局部可达密度;根据各所述候选模型参数对应的所述局部可达密度,对各所述候选模型参数进行加权聚合,得到更新后模型参数;将所述待训练模型的模型参数更新为所述更新后模型参数,得到训练后模型。可以降低模型投毒攻击对联邦学习训练得到的模型的影响,提高训练得到的模型的性能。

    一种分布式任务调度系统和方法

    公开(公告)号:CN112817706A

    公开(公告)日:2021-05-18

    申请号:CN201911121382.2

    申请日:2019-11-15

    Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。

    联邦网络模型的训练方法、任务预测方法、装置及设备

    公开(公告)号:CN118261273A

    公开(公告)日:2024-06-28

    申请号:CN202211680880.2

    申请日:2022-12-27

    Inventor: 黄斌 张威 姜伟浩

    Abstract: 本申请实施例提供了联邦网络模型的训练方法、任务预测方法、装置及设备,涉及机器学习技术领域。其中,一种联邦网络模型的训练方法,包括:获取多个特征提取子模型分别针对目标样本对象所提取的数据特征;将所获取的各个数据特征输入特征交互子模型,以使特征交互子模型利用所接收的数据特征,构建目标样本对象的多维数据特征,获取各个特征维度分别对应的权重信息,并利用所获取的权重信息,对目标样本对象的多维数据特征中的特征内容进行加权处理,得到融合特征;将融合特征输入结果预测子模型,得到目标样本对象的针对预定分析任务的预测结果;基于预测结果,对联邦网络模型进行训练。可见,本方案可以提高模型训练结果的准确性。

    一种模型训练方法、装置及电子设备

    公开(公告)号:CN116861981A

    公开(公告)日:2023-10-10

    申请号:CN202210286015.3

    申请日:2022-03-22

    Inventor: 黄斌 丁健 叶挺群

    Abstract: 本发明实施例提供了一种模型训练方法、装置及电子设备。其中,所述方法包括:获取目标模型预期部署的目标平台的量化模式;按照所述量化模式通过所述目标模型对样本数据进行量化推理,得到推理结果;根据所述推理结果调整所述目标模型。可以在训练模型时加入目标平台的量化模式,以使得训练得到的模型在该量化模式下能够准确地输出推理结果,因此在将经过训练的模型属于目标平台后,目标平台能够通过该模型正常提供推理服务,降低需要重新训练模型的概率,即提高了模型部署效率。

    3D卷积神经网络在神经网络处理器上的处理方法和装置

    公开(公告)号:CN111985618A

    公开(公告)日:2020-11-24

    申请号:CN202010821325.1

    申请日:2020-08-14

    Inventor: 黄斌

    Abstract: 本申请提供一种3D卷积神经网络在神经网络处理器上的处理方法和装置。本申请中,将图序列在时间维度上的数据拼接到通道维度上,得到多个2D拼接图,同时,将C3D卷积层的3D卷积核在时间维度上的数据也拼接到通道维度上,得到2D拼接卷积核。由此,神经网络处理器可以基于该2D拼接图和2D拼接卷积核进行卷积运算,实现了神经网络处理器支持神经网络的卷积处理。同时,本申请还将C3D池化层进行池化操作步骤的转换,将输入到池化层的数据降低时间维度增加数量维度,进行多次第一池化操作,然后沿高度或宽度对数据进行拼接后进行二次池化操作,实现了神经网络处理器支持卷积神经网络的池化处理。

    联邦学习通信方法、系统及设备
    8.
    发明公开

    公开(公告)号:CN119544695A

    公开(公告)日:2025-02-28

    申请号:CN202311094452.6

    申请日:2023-08-28

    Abstract: 本发明公开了一种联邦学习通信方法、系统及设备,其中方法包括:在横向联邦学习的任意一轮联邦聚合过程中,接收参与当前轮次联邦聚合的各个第一客户端发送的量化模型参数和反量化器;采用目标客户端对应的反量化器反量化目标客户端对应的量化模型参数,得到还原模型参数;在得到各个第一客户端分别对应的还原模型参数后,对各个第一客户端的还原模型参数进行聚合得到聚合模型参数,将聚合模型参数反馈给各个第一客户端,本发明提供了一种横向联邦学习过程中服务端与客户端之间的通信方案,以提高联邦学习通信效率。

    一种分布式任务调度系统和方法

    公开(公告)号:CN112817706B

    公开(公告)日:2023-06-02

    申请号:CN201911121382.2

    申请日:2019-11-15

    Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。

    3D卷积神经网络在神经网络处理器上的处理方法和装置

    公开(公告)号:CN111985617A

    公开(公告)日:2020-11-24

    申请号:CN202010820483.5

    申请日:2020-08-14

    Inventor: 黄斌

    Abstract: 本申请提供3D卷积神经网络在神经网络处理器上的处理方法和装置。本申请中,将图序列在时间维度上拆分后与P3D卷积层的第一卷积核进行第一次卷积运算,得到多个第一2D特征图,然后将第一2D特征图划分后再拼接到通道维度上,得到多个2D拼接图;同时,将P3D卷积层的第二卷积核在时间维度上的数据拼接到通道维度上,得到2D拼接卷积核,并基于该2D拼接图和2D拼接卷积核进行第二次卷积运算。由此,神经网络处理器实现了支持3D神经网络的卷积处理。同时,本申请还将P3D池化层进行池化操作步骤的转换,分别进行了第一池化操作和第二次池化操作,实现了神经网络处理器支持3D卷积神经网络的池化处理。

Patent Agency Ranking