-
公开(公告)号:CN118941848A
公开(公告)日:2024-11-12
申请号:CN202410967635.2
申请日:2024-07-18
IPC分类号: G06V10/764 , G06N20/00 , G06F21/55
摘要: 本发明涉及鲁棒性检测技术领域,涉及一种基于联邦学习的鲁棒性检测方法、装置、设备及介质,所述方法包括获取第一全局模型,所述第一全局模型为服务器端训练的模型;将所述第一全局模型发送至本地端,并利用本地端的数据集对所述全局模型进行更新训练,得到至少一个本地模型;根据至少一个所述本地模型生成第一恶意模型;将所述第一恶意模型发送至服务器端进行聚合并根据聚合后的全局模型进行鲁棒性检测,本发明通过在本地生成第一恶意模型再将第一恶意模型上传至服务器端干扰全局模型更新,继而通过观察测试前后全局模型性能表现来判断联邦学习系统的鲁棒性,有效的提高了联邦学习系统的鲁棒性检测效率和速度。
-
公开(公告)号:CN117272370A
公开(公告)日:2023-12-22
申请号:CN202311189893.4
申请日:2023-09-14
申请人: 北京交通大学
IPC分类号: G06F21/62 , G06F16/9536 , G06N3/0442 , G06N3/08
摘要: 本说明书实施例提供了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法及系统,其中,方法包括:捕捉用户签到行为中复杂的序列转移模式和动态偏好,根据所述序列转移模式和动态偏好,基于序列模型建立融合用户长短期偏好特征的轨迹预测模型;将所述轨迹预测模型设置为联邦推荐训练形式,在轨迹数据不出当前地区范围的前提下,通过协调多个用户设备共同优化所述轨迹预测模型,并在优化过程中通过差分隐私机制对模型参数进行加噪保护。
-
公开(公告)号:CN116796309A
公开(公告)日:2023-09-22
申请号:CN202310381101.7
申请日:2023-04-11
摘要: 本发明提供了一种基于无先验知识的联邦推荐投毒攻击方法。该方法包括:根据攻击需求选取项目池中拟攻击的目标项目;计算与目标项目的嵌入向量最相似的多个项目,构建恶意用户虚假交互列表;基于恶意用户虚假交互列表近似喜欢目标项目的恶意用户的嵌入向量;客户端根据近似的嵌入向量以及服务器下发的模型参数求解损失函数,并将所得梯度上传至服务器;服务器聚合更新上传的模型参数并将其下发至客户端,重复上述操作直至训练结束。本发明利用用户配置文件及其交互项目间存在的某种隐式相关性,刻画攻击必需但难以获取的用户嵌入向量,能够在不依赖任何先验知识的前提下实现对联邦推荐系统的有效攻击,充分完成了对联邦推荐系统的安全性评估。
-
公开(公告)号:CN116341004A
公开(公告)日:2023-06-27
申请号:CN202310304542.7
申请日:2023-03-27
IPC分类号: G06F21/62 , G06F18/213 , G06F18/214 , G06N20/00
摘要: 本发明提供了一种基于特征嵌入分析的纵向联邦学习隐私泄露检测方法。该方法包括:检测者在纵向联邦学习的训练过程中嵌入影子数据;获取影子数据和纵向联邦学习的目标参与者的私有训练数据在底部模型上的特征嵌入数据,对特征嵌入数据进行平滑处理;利用影子数据和影子数据平滑处理后的特征嵌入数据克隆底部模型的代理模型;利用代理模型通过特征嵌入匹配重构目标参与者的私有训练数据,对纵向联邦学习进行原始数据泄露检测。本发明方法在不破坏VFL效用的条件下,同时实现了对模型泄露、原始数据泄露以及数据特征泄露的脆弱性分析。
-
公开(公告)号:CN118540096A
公开(公告)日:2024-08-23
申请号:CN202410421446.5
申请日:2024-04-09
申请人: 北京交通大学
IPC分类号: H04L9/40 , H04L41/16 , G06F16/9535 , G06N3/098 , G06N20/00
摘要: 本发明公开了一种面向联邦推荐的有目标投毒攻击防御方法及系统,包括:服务器随机选取预设比例的客户端参加模型训练;服务器连续记录不同用户在每一轮的更新项目模式;服务器通过识别良性用户在训练期间更新项目的两种模式,动态剔除不满足前述模式条件的异常用户;服务器将剩余用户上传的梯度作为正常梯度参与后续聚合更新,并将聚合更新后的结果作为新一轮参数发送至客户端;重复该过程直至模型收敛。本发明能够在训练过程中动态检测来自客户端上传的模型参数更新和交互项目更新模式,通过识别良性用户在训练期间更新项目的两种模式,针对性的对参与联邦推荐训练的异常用户进行检测并剔除,可以有效减轻有目标投毒攻击对联邦推荐系统的损害。
-
公开(公告)号:CN116594992A
公开(公告)日:2023-08-15
申请号:CN202310876419.2
申请日:2023-07-18
申请人: 北京交通大学
IPC分类号: G06F16/215 , G06N20/00
摘要: 本说明书实施例提供了一种针对深度学习模型的机器遗忘方法及装置,其中,方法包括:根据当前拥有数据对原始深度学习模型进行训练,得到训练后的初始模型;根据请求被删除数据计算所述请求被删除数据的遗忘损失;将所述遗忘损失最小化,执行机器遗忘更新所述初始模型,得到遗忘后模型。本公开能够支持已训练模型对任意数据执行高效的遗忘,同时保证模型的可用性,在不损害模型可用性的基础上实现对特定样本的精准删除。
-
公开(公告)号:CN116527393B
公开(公告)日:2024-01-16
申请号:CN202310662319.X
申请日:2023-06-06
申请人: 北京交通大学
IPC分类号: H04L9/40 , G06N20/00 , G06F18/214
摘要: 本发明提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质,包括:从多个客户端中获取本地数据对应的第一特征嵌入信息,本地数据预存在客户端中,各个客户端中的本地数据为总训练样本的不相交的样本子集;对第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算;根据计算得到的互信息对第一特征嵌入信息进行异常特征嵌入剔除,并将剔除后的第一特征嵌入信息作为正常特征嵌入信息;基于正常特征嵌入信息对预存的顶部模型进行训练,以优化顶部模型参数。本发明能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性,适用于纵向联邦学习场景中。
-
公开(公告)号:CN118233190A
公开(公告)日:2024-06-21
申请号:CN202410387088.0
申请日:2024-04-01
申请人: 北京交通大学
IPC分类号: H04L9/40 , G06N3/098 , G06F18/214
摘要: 本发明提供一种联邦推荐无目标投毒攻击防御方法、装置和系统,其中方法包括:服务器随机初始一组用户嵌入以近似良性用户嵌入分布;服务器依据近似的用户嵌入组及不同用户上传的更新信息,依次计算项目的推荐评分、评分变化速度、项目统计频数,并由此推断可能的流行项目;服务器采用“多轮综合评价”原则,依据用户与全局模型近次在流行项目上的评分行为一致性共同量化其在本轮的贡献值;服务器计算动态阈值并据此剔除贡献小于这一阈值的异常用户;服务器将剩余用户上传的梯度作为正常梯度参与后续聚合更新,并将聚合更新后的结果作为新一轮参数发送至用户;重复该过程直至模型收敛。本发明有效提高了联邦推荐模型对无目标投毒攻击的抵抗能力。
-
公开(公告)号:CN117272370B
公开(公告)日:2024-03-22
申请号:CN202311189893.4
申请日:2023-09-14
申请人: 北京交通大学
IPC分类号: G06F21/62 , G06F16/9536 , G06N3/0442 , G06N3/08
摘要: 本说明书实施例提供了一种基于用户轨迹序列的下一个兴趣点隐私保护推荐方法及系统,其中,方法包括:捕捉用户签到行为中复杂的序列转移模式和动态偏好,根据所述序列转移模式和动态偏好,基于序列模型建立融合用户长短期偏好特征的轨迹预测模型;将所述轨迹预测模型设置为联邦推荐训练形式,在轨迹数据不出当前地区范围的前提下,通过协调多个用户设备共同优化所述轨迹预测模型,并在优化过程中通过差分隐私机制对模型参数进行加噪保护。
-
公开(公告)号:CN116341004B
公开(公告)日:2023-09-08
申请号:CN202310304542.7
申请日:2023-03-27
IPC分类号: G06F21/62 , G06F18/213 , G06F18/214 , G06N20/00
摘要: 本发明提供了一种基于特征嵌入分析的纵向联邦学习隐私泄露检测方法。该方法包括:检测者在纵向联邦学习的训练过程中嵌入影子数据;获取影子数据和纵向联邦学习的目标参与者的私有训练数据在底部模型上的特征嵌入数据,对特征嵌入数据进行平滑处理;利用影子数据和影子数据平滑处理后的特征嵌入数据克隆底部模型的代理模型;利用代理模型通过特征嵌入匹配重构目标参与者的私有训练数据,对纵向联邦学习进行原始数据泄露检测。本发明方法在不破坏VFL效用的条件下,同时实现了对模型泄露、原始数据泄露以及数据特征泄露的脆弱性分析。
-
-
-
-
-
-
-
-
-