-
公开(公告)号:CN116702191A
公开(公告)日:2023-09-05
申请号:CN202310615878.5
申请日:2023-05-29
Applicant: 北京交通大学 , 中国铁道科学研究院集团有限公司电子计算技术研究所
Abstract: 本发明提供了一种联邦学习本地模型参数聚合方法。该方法包括:对可信机构进行初始化处理,获得系统公共参数和主私钥;客户端和中心服务器向可信机构请求注册,可信机构组建所有客户端的通信群;客户端使用本地数据对中心服务器下发的全局模型进行训练,获得本地模型参数;客户端使用签名密钥和中心服务器的公钥签名并加密本地模型参数,将本地模型参数的密文和签名以匿名方式上传给中心服务器;中心服务器解密各客户端上传的本地模型参数,验证本地模型参数的签名;聚合经过验证的本地模型参数,根据聚合结果更新全局模型,向通信群中的所有客户端广播更新后的全局模型。本发明方法强化了联邦学习的隐私保护能力,维护联邦学习系统的鲁棒性。
-
公开(公告)号:CN116527393A
公开(公告)日:2023-08-01
申请号:CN202310662319.X
申请日:2023-06-06
Applicant: 北京交通大学
IPC: H04L9/40 , G06N20/00 , G06F18/214
Abstract: 本发明提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质,包括:从多个客户端中获取本地数据对应的第一特征嵌入信息,本地数据预存在客户端中,各个客户端中的本地数据为总训练样本的不相交的样本子集;对第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算;根据计算得到的互信息对第一特征嵌入信息进行异常特征嵌入剔除,并将剔除后的第一特征嵌入信息作为正常特征嵌入信息;基于正常特征嵌入信息对预存的顶部模型进行训练,以优化顶部模型参数。本发明能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性,适用于纵向联邦学习场景中。
-
公开(公告)号:CN116070698A
公开(公告)日:2023-05-05
申请号:CN202211684648.6
申请日:2022-12-27
Applicant: 北京交通大学 , 中国铁道科学研究院集团有限公司电子计算技术研究所
IPC: G06N3/098 , G06N3/0455
Abstract: 本发明提供一种基于自编码器的单分类联邦学习方法及系统,属于联邦学习技术领域,在数据预处理阶段,利用预训练模型进行原始数据的特征提取和分析;在训练阶段,客户端按照数据标签分别使用自编码器完成单分类模型的训练,服务器根据标签对单分类模型进行分类聚合,并将聚合后的模型按标签重新下发给客户端;在预测阶段,基于集成学习整合多个单分类专家模型和预训练模型的输出,以确定预测结果。本发明提取出不同标签数据的关键特征,对客户端本地的数据类别没有要求,并且可以抑制客户端模型间的离散程度,提高全局模型的性能,能够在保护客户端隐私的情况下有效应对各种Non‑IID情况。此外训练过程中的异步聚合更新还可以提高训练过程中的通信效率。
-
公开(公告)号:CN119537956A
公开(公告)日:2025-02-28
申请号:CN202510088643.4
申请日:2025-01-21
Applicant: 中国铁道科学研究院集团有限公司电子计算技术研究所 , 北京交通大学 , 中国铁道科学研究院集团有限公司 , 中国国家铁路集团有限公司
IPC: G06F18/214 , G06F18/2431 , G06F18/23 , G06N3/0895 , G06N3/098
Abstract: 本发明提供了一种基于半监督联邦学习的铁路内部数据流通共享方法,涉及半监督技术领域,包括从多个客户端上获取多个初始本地模型;得到初始全局模型;对无标签数据集中的每个无标签数据分配伪标签;得到多个本地模型;对每个本地模型分配对应的权重参数;得到数据共享模型。本发明通过基于标签数据集训练得到的模型,为无标签数据分配伪标签,使得无标签数据能够参与到后续的模型训练中,进一步扩充了训练数据的规模,提高模型的泛化能力;以及基于每个客户端上数据的聚类分布对每个本地模型分配对应的权重参数,从而反映各个本地模型在数据共享模型中的重要性,使得最终得到的数据共享模型既能够兼顾全局的共性,又能够体现不同客户端的个性。
-
公开(公告)号:CN118862948A
公开(公告)日:2024-10-29
申请号:CN202410786500.6
申请日:2024-06-18
Applicant: 北京交通大学
Abstract: 本发明提供了一种基于知识蒸馏和锐度感知最小化的个性化联邦学习方法。该方法包括:服务器生成全局共享无标签伪数据集,并下发给各个客户端;客户端利采用锐度感知最小化方法对本地模型进行优化,得到优化后的本地模型wc;客户端利用本地数据集和无标签伪数据集生成本地知识,服务器对各个客户端的本地知识中的logits依据权重系数进行加权运算得到全局#imgabs0#将由全局原型p和全局#imgabs1#构成的全局知识下发给各个客户端;客户端根据本地logits和全局知识中的全局#imgabs2#对本地模型wc进行更新。本发明利用无标签伪数据集作为公共数据集进行知识蒸馏,就能够实现良好的性能。服务器利用权重对本地知识进行聚合,以获得高质量的全局知识,用于提升本地模型性能。
-
公开(公告)号:CN118540096A
公开(公告)日:2024-08-23
申请号:CN202410421446.5
申请日:2024-04-09
Applicant: 北京交通大学
Inventor: 王伟 , 郝玉蓉 , 刘吉强 , 李超 , 段莉 , 许向蕊 , 陈国荣 , 刘鹏睿 , 吕晓婷 , 陈政 , 刘敬楷 , 振昊 , 韩昫 , 刘冲 , 胡福强 , 祝咏升 , 代娇
IPC: H04L9/40 , H04L41/16 , G06F16/9535 , G06N3/098 , G06N20/00
Abstract: 本发明公开了一种面向联邦推荐的有目标投毒攻击防御方法及系统,包括:服务器随机选取预设比例的客户端参加模型训练;服务器连续记录不同用户在每一轮的更新项目模式;服务器通过识别良性用户在训练期间更新项目的两种模式,动态剔除不满足前述模式条件的异常用户;服务器将剩余用户上传的梯度作为正常梯度参与后续聚合更新,并将聚合更新后的结果作为新一轮参数发送至客户端;重复该过程直至模型收敛。本发明能够在训练过程中动态检测来自客户端上传的模型参数更新和交互项目更新模式,通过识别良性用户在训练期间更新项目的两种模式,针对性的对参与联邦推荐训练的异常用户进行检测并剔除,可以有效减轻有目标投毒攻击对联邦推荐系统的损害。
-
公开(公告)号:CN117312914A
公开(公告)日:2023-12-29
申请号:CN202311229285.1
申请日:2023-09-21
Applicant: 中国国家铁路集团有限公司 , 北京交通大学 , 中国铁道科学研究院集团有限公司 , 中国铁道科学研究院集团有限公司电子计算技术研究所
Inventor: 姚洪磊 , 王瑞民 , 朱广劼 , 魏长水 , 王健 , 刘旭 , 商婧 , 李琪 , 司群 , 杨轶杰 , 傅一馨 , 张骁 , 付晓丹 , 卫婧 , 周泽岩 , 王张超 , 祝咏升 , 王佳宁
IPC: G06F18/24 , G06F18/23213
Abstract: 本申请公开了一种自动铁路网络数据风险等级分类方法和装置,其中方法包括:基于铁路网络数据中各个数据样本的数据重要等级、数据生命周期所处阶段、风险类型和风险影响程度,确定各个数据样本的有序属性和无序属性;基于各个数据样本的有序属性和无序属性,对各个数据样本进行K均值聚类,得到多个初始类簇;基于各个初始类簇的簇中心,以及各个初始类簇中各个数据样本对应的高斯分布,对各个数据样本进行高斯混合聚类,得到铁路网络数据对应的多个类簇;基于各个类簇中各个数据样本的数据重要等级和风险影响程度,确定各个类簇的数据风险等级。本申请提供的方法和装置,提高了对铁路网络数据进行风险等级分类的有效性和准确性。
-
公开(公告)号:CN116962085B
公开(公告)日:2023-12-08
申请号:CN202311213109.9
申请日:2023-09-20
Applicant: 北京交通大学
Abstract: 本说明书实施例提供了一种鲁棒的个性化联邦学习方法、装置及系统,方法包括:服务器接收来自多个客户端的模型更新数据,模型更新数据为在客户端上训练的本地模型的参数在训练前后的参数差值;服务器根据模型更新数据,得到各模型更新数据之间的基于α的层位置正则化相似度;服务器针对每一个客户端,根据基于α的层位置正则化相似度,得到模型更新数据的权重;服务器根据模型更新数据的权重和模型更新数据,分别得到各客户端对应的聚合模型更新数据;服务器发送聚合模型更新数据到各客户端。本申请提供的技术方案用以解决在联邦学习中系统中存在恶意攻击者时,通过本地协作训练
-
公开(公告)号:CN116882480A
公开(公告)日:2023-10-13
申请号:CN202311013570.X
申请日:2023-08-11
Applicant: 北京交通大学
IPC: G06N3/088 , G06N3/098 , G06F18/214 , G06F18/241 , G06N5/02 , G06F21/62
Abstract: 本发明提供了一种面向隐私保护的扩散模型驱动的无监督域泛化方法。该方法包括:目标服务器把训练完成的扩散模型和初始化完成的全局模型发送到各个客户端;各个客户端从扩散模型中采样出虚拟目标域数据,提取出域的特异特征和共享特征,各个客户端把域的共享特征和训练后的客户端模型上传到目标域中的目标服务器,目标服务器通过各客户端模型对目标域的样本进行联邦置信度投票,生成虚拟预测域;目标服务器根据各个客户端对虚拟预测域的贡献,动态调整各个客户端模型的权重,使用联邦置信度投票出的虚拟预测域,得到用于下一轮的联邦下发的全局模型。本发明使用扩散模型能够对目标域的数据进行较好的隐私保护,并有足够的通用性,降低了通讯压力。
-
公开(公告)号:CN116594992A
公开(公告)日:2023-08-15
申请号:CN202310876419.2
申请日:2023-07-18
Applicant: 北京交通大学
IPC: G06F16/215 , G06N20/00
Abstract: 本说明书实施例提供了一种针对深度学习模型的机器遗忘方法及装置,其中,方法包括:根据当前拥有数据对原始深度学习模型进行训练,得到训练后的初始模型;根据请求被删除数据计算所述请求被删除数据的遗忘损失;将所述遗忘损失最小化,执行机器遗忘更新所述初始模型,得到遗忘后模型。本公开能够支持已训练模型对任意数据执行高效的遗忘,同时保证模型的可用性,在不损害模型可用性的基础上实现对特定样本的精准删除。
-
-
-
-
-
-
-
-
-