Invention Grant
- Patent Title: 一种基于张量填充的遍历式联邦学习方法及系统
-
Application No.: CN202510217551.1Application Date: 2025-02-26
-
Publication No.: CN119721187BPublication Date: 2025-05-06
- Inventor: 陈宇翔 , 梁沧溟 , 梁伟 , 何大成 , 李冠憬 , 陈林书 , 文吉刚
- Applicant: 湖南科技大学
- Applicant Address: 湖南省湘潭市雨湖区石马头
- Assignee: 湖南科技大学
- Current Assignee: 湖南科技大学
- Current Assignee Address: 湖南省湘潭市雨湖区石马头
- Agency: 长沙大珂知识产权代理事务所
- Agent 伍志祥
- Main IPC: G06N3/098
- IPC: G06N3/098 ; G06N3/063 ; G06N3/0464 ; G06N3/10

Abstract:
本发明公开了一种基于张量填充的遍历式联邦学习方法及系统,包括:基于设备位宽对相应梯度进行分层张量建模;在服务器端将不同梯度中同一模型层的参数归类,将各层分别建模为一个张量;基于张量填充技术将位宽恢复组件中张量对应的不同位宽梯度进行对齐,并对所有梯度进行加权聚合,基于聚合后的权重生成新的全局模型;通过遍历窗口机制,在服务器和客户端中,选取全局模型的不同层进行每一轮训练,使全局模型在低容量设备中均匀训练,直到全局模型收敛。本发明通过结合张量填充和基于遍历的部分模型训练技术,利用张量分解和重构技术迭代恢复模型参数的精度,并采用遍历分层的方式适应不同设备的能力,确保资源受限的客户端也能均衡参与训练。
Public/Granted literature
- CN119721187A 一种基于张量填充的遍历式联邦学习方法及系统 Public/Granted day:2025-03-28
Information query