公开(公告)号：CN113505881B

公开(公告)日：2023-06-02

申请号：CN202110802198.5

申请日：2021-07-15

Applicant: 华侨大学

Inventor： 张维纬 ,  凌鸿飞 ,  周密

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/098 ,  G06F21/62

Abstract: 本发明提供一种面向异构设备的分布式神经网络训练方法、装置及介质，所述方法包括：步骤10、计算每一设备端面向不同数据源的算力值；步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练。本发明可实现大规模场景的训练需求，同时实现隐私保护和模型压缩，提高安全性和训练效率。

公开(公告)号：CN113505881A

公开(公告)日：2021-10-15

申请号：CN202110802198.5

申请日：2021-07-15

Applicant: 华侨大学

Inventor： 张维纬 ,  凌鸿飞 ,  周密

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08 ,  G06F21/62

Abstract: 本发明提供一种面向异构设备的分布式神经网络训练方法、装置及介质，所述方法包括：步骤10、计算每一设备端面向不同数据源的算力值；步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练。本发明可实现大规模场景的训练需求，同时实现隐私保护和模型压缩，提高安全性和训练效率。