公开(公告)号：CN113672684A

公开(公告)日：2021-11-19

申请号：CN202110959654.7

申请日：2021-08-20

Applicant: 电子科技大学

Inventor： 曾晟来 ,  李宗航 ,  何易虹 ,  张讯 ,  虞红芳 ,  孙罡

IPC: G06F16/27 ,  G06N20/20

Abstract: 本发明提供了一种面向非独立同分布数据的分层用户训练管理系统及方法，该方法包括联邦学习用户数据分布相似性评估方法、分组方法和训练方法，在保护用户标签的前提下通过计算节点数据分布和全局分布的相似性对用户进行评分，其中全局参数服务器根据用户评分进行合理的分组处理，使组间数据分布近似均匀，解决非独立同分布问题。同时，可根据用户的需求设置并行度增长曲线，使训练从串行向并行转化，在保证模型收敛速度和精度的情况下保证模型的并行度，节省训练时间，本发明将全同步算法与序列联邦学习算法相结合，在保证模型并行度的前提下大幅度提高训练精度和收敛速度、显著减少通信负载、节省计算资源，提高联邦学习的训练效果。

公开(公告)号：CN113672684B

公开(公告)日：2023-04-21

申请号：CN202110959654.7

申请日：2021-08-20

Applicant: 电子科技大学

Inventor： 曾晟来 ,  李宗航 ,  何易虹 ,  张讯 ,  虞红芳 ,  孙罡

IPC: G06F16/27 ,  G06N20/20

Abstract: 本发明提供了一种面向非独立同分布数据的分层用户训练管理系统及方法，该方法包括联邦学习用户数据分布相似性评估方法、分组方法和训练方法，在保护用户标签的前提下通过计算节点数据分布和全局分布的相似性对用户进行评分，其中全局参数服务器根据用户评分进行合理的分组处理，使组间数据分布近似均匀，解决非独立同分布问题。同时，可根据用户的需求设置并行度增长曲线，使训练从串行向并行转化，在保证模型收敛速度和精度的情况下保证模型的并行度，节省训练时间，本发明将全同步算法与序列联邦学习算法相结合，在保证模型并行度的前提下大幅度提高训练精度和收敛速度、显著减少通信负载、节省计算资源，提高联邦学习的训练效果。