公开(公告)号：CN115660107A

公开(公告)日：2023-01-31

申请号：CN202211375337.1

申请日：2022-11-04

Applicant: 上海交通大学

Inventor： 马汝辉 ,  张剑清 ,  褚学森 ,  宋涛 ,  管海兵

IPC: G06N20/00 ,  G06F21/62 ,  G06F18/24 ,  G06N3/084 ,  G06N3/04

Abstract: 本发明公开了一种应用于隐私计算的个性化联邦学习方法，涉及隐私计算领域，通过条件策略模块将每个样本的特征信息分离为通用特征信息和个性化特征信息，并分别通过全局分类器和个性化分类器处理这两类信息，实现样本级别且样本特定的个性化信息提取。本发明通过只聚合处理全局信息的全局分类器并本地化个性化分类器，减轻了聚合过程中的数据异质化问题。

公开(公告)号：CN116432774A

公开(公告)日：2023-07-14

申请号：CN202310368919.5

申请日：2023-04-06

Applicant: 上海交通大学

Inventor： 马汝辉 ,  褚学森 ,  阮馨雨 ,  王辰霈 ,  施宏建 ,  汪小川 ,  董俊伟 ,  刘渊

IPC: G06N20/00 ,  G06F17/11 ,  G06F17/10 ,  G06F21/55

Abstract: 本发明公开了一种基于层次化指标筛选的区块链联邦学习安全聚合框架，涉及联邦学习技术领域，包括预训练阶段、正式训练阶段和聚合阶段，其中：预训练阶段，训练客户端参与预训练并将计算的loss值上传区块链；正式训练阶段，可信客户端训练模型并提供评分标准，训练客户端训练并上传本地模型参数，可信客户端对本地模型打分并计算其权重，上传模型信任分数和权重；聚合阶段，根据模型信任分数和权重进行模型聚合，获得本轮全局模型并上链。本发明通过将FLTrust算法对上传的本地模型进行信任评分聚合，排除恶意客户端，一定程度上应对拜占庭攻击，保证最终获得全局模型的准确性，通过loss预测与聚合权重加快聚合速度，用更少的收敛轮次获得较好的全局模型。

公开(公告)号：CN115481755A

公开(公告)日：2022-12-16

申请号：CN202211253769.5

申请日：2022-10-13

Applicant: 上海交通大学

Inventor： 马汝辉 ,  张剑清 ,  褚学森 ,  宋涛 ,  管海兵

IPC: G06N20/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于自适应本地聚合的个性化联邦学习方法，涉及联邦学习技术领域，包括以下步骤：服务器发送全局模型Θ0到所有客户机中，初始化各个客户机的本地模型；客户机i执行第t轮迭代训练，执行自适应本地聚合，得到初始化本地模型；根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重并更新初始化本地模型；采用梯度下降方式更新本地模型，并发送到服务器；服务器对接收到的本地模型执行全局聚合生成全局模型Θt。本发明能够捕获全局模型中提升本地模型质量的信息，促进本地模型训练，能够应用于现有的其他联邦学习方法，实现全局模型中信息的精准提取，并利用提取到的信息提升模型在各个客户机上的个性化表现。

公开(公告)号：CN116484978A

公开(公告)日：2023-07-25

申请号：CN202310507957.4

申请日：2023-05-06

Applicant: 上海交通大学

Inventor： 马汝辉 ,  褚学森 ,  王辰霈 ,  阮馨雨 ,  施宏建 ,  汪小川 ,  董俊伟 ,  刘渊

IPC: G06N20/00

Abstract: 本发明公开了一种基于回合制更新及客户端权重优化的区块链联邦学习方法，涉及深度学习领域，该方法包括如下步骤：从区块链中获取第一全局模型集，客户端对第一全局模型集执行本地训练，生成训练后的本地模型；客户端在本地依据训练后的本地模型执行聚合，并计算测试损失值；依据测试损失值获取未参与本轮训练时的损失值差值；以损失值差值获取第一参数，以筛选客户端，按一定时隙收集筛选客户端训练后的本地模型，生成聚合模型，上传区块链；重复上述训练步骤直到全局模型收敛或达到预设的训练轮数。本发明减少了同步训练带来的等待时间，同样提高了框架的效率。