一种面向分割学习的模型后门攻击脆弱性分析方法和系统

    公开(公告)号:CN118366010A

    公开(公告)日:2024-07-19

    申请号:CN202410781553.9

    申请日:2024-06-18

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向分割学习的模型后门攻击脆弱性分析方法和系统,属于人工智能安全领域。收集图像分类模型在分割学习过程中由客户端底层模型发送至服务器端中间模型的第一中间层表示,结合辅助数据集迭代训练底层替代模型;利用第一中间层表示训练聚类器,获取聚类类别到真实类别的映射关系,得到锚点;基于统计思想获取与图像触发器对应的中间层表示触发器;基于中间层表达形式的锚点替换目标类样本的后门攻击方法,向中间模型注入后门并训练;利用测试样本检测图像分类模型的后门攻击成功率,获得模型后门攻击脆弱性。本发明综合考虑了攻击测试方法的成功率和隐蔽性,可以更加全面的暴露模型在分割学习框架下的漏洞,推动防御技术的发展。

    一种基于配置调整的横向联邦学习安全性加固方法及系统

    公开(公告)号:CN119475437A

    公开(公告)日:2025-02-18

    申请号:CN202510050760.1

    申请日:2025-01-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于配置调整的横向联邦学习安全性加固方法及系统,属于分布式架构安全性加固技术领域。通过确定目标联邦学习系统的客户端数量、本地数据模态以及联邦学习任务,生成一组满足准确率和计算开销的目标联邦学习系统初始配置,包括应用于本地模型和全局模型的模型架构、客户端本地数据分布、全局模型预训练程度和聚合方法;对初始配置发起包含脆弱性全覆盖的模拟攻击方式的渗透测试,根据测试结果调整配置,直至满足安全性要求,筛选最优配置,利用最优配置加固目标联邦学习系统。本发明实现了对目标联邦学习系统的灵活性配置,并能够对配置结果进行加固效果的有效评测,全方位避免隐私泄露风险,提升目标联邦学习系统的安全性。

    一种基于配置调整的横向联邦学习安全性加固方法及系统

    公开(公告)号:CN119475437B

    公开(公告)日:2025-04-15

    申请号:CN202510050760.1

    申请日:2025-01-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于配置调整的横向联邦学习安全性加固方法及系统,属于分布式架构安全性加固技术领域。通过确定目标联邦学习系统的客户端数量、本地数据模态以及联邦学习任务,生成一组满足准确率和计算开销的目标联邦学习系统初始配置,包括应用于本地模型和全局模型的模型架构、客户端本地数据分布、全局模型预训练程度和聚合方法;对初始配置发起包含脆弱性全覆盖的模拟攻击方式的渗透测试,根据测试结果调整配置,直至满足安全性要求,筛选最优配置,利用最优配置加固目标联邦学习系统。本发明实现了对目标联邦学习系统的灵活性配置,并能够对配置结果进行加固效果的有效评测,全方位避免隐私泄露风险,提升目标联邦学习系统的安全性。

    优化后门攻击下的联邦学习模型防御机制性能评估方法

    公开(公告)号:CN119539127A

    公开(公告)日:2025-02-28

    申请号:CN202411703304.4

    申请日:2024-11-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种优化后门攻击下的联邦学习模型防御机制性能评估方法,属于网络安全领域。所述方法包括:联邦学习训练前期攻击方正常参与训练;在训练中期,攻击方拿到全局模型;攻击方在正常参预训练的同时,提前利用拿到的全局模型通过模拟正常训练以及后门模型训练,利用更新差异提前优化触发器;在训练后期,利用优化后的触发器进行后门攻击,并用同样的方法重新拿到的全局模型持续优化触发器,从而提升攻击效果与效率;基于最终优化后的触发器进行后门攻击测试,评估联邦学习模型防御机制性能。本发明涉及的优化后门攻击下的联邦学习模型脆弱性评估方法针对现有的防御提出的一套新的攻击思路和有效的评估方法,揭示了现有防御的漏洞。

    一种基于权重调整的模型对抗迁移性风险评估方法和系统

    公开(公告)号:CN119380151A

    公开(公告)日:2025-01-28

    申请号:CN202411443828.4

    申请日:2024-10-16

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对抗权重调整的模型对抗迁移性风险评估方法和系统,属于对抗攻击和人工智能知识产权保护分析领域。包括:通过替代模型和对抗样本的迭代优化生成迁移性强的对抗样本;通过计算安全指数,基于生成的对抗样本评估目标模型的对抗迁移性风险。本发明旨在评估深度学习模型在黑盒攻击场景下的防御对抗样本攻击的安全性。本发明通过自适应调整替代模型的参数,优化对抗样本的平坦局部最大值和模型平滑度,以增强其迁移性,替代模型无需额外训练数据。本发明还提出迁移对抗攻击安全指数,为模型安全性提供量化度量。本发明能够全面分析模型面对迁移性对抗攻击的脆弱性,有助于帮助研究人员和工程师设计更有效的防御策略。

    一种面向分割学习的模型后门攻击脆弱性分析方法和系统

    公开(公告)号:CN118366010B

    公开(公告)日:2024-09-20

    申请号:CN202410781553.9

    申请日:2024-06-18

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向分割学习的模型后门攻击脆弱性分析方法和系统,属于人工智能安全领域。收集图像分类模型在分割学习过程中由客户端底层模型发送至服务器端中间模型的第一中间层表示,结合辅助数据集迭代训练底层替代模型;利用第一中间层表示训练聚类器,获取聚类类别到真实类别的映射关系,得到锚点;基于统计思想获取与图像触发器对应的中间层表示触发器;基于中间层表达形式的锚点替换目标类样本的后门攻击方法,向中间模型注入后门并训练;利用测试样本检测图像分类模型的后门攻击成功率,获得模型后门攻击脆弱性。本发明综合考虑了攻击测试方法的成功率和隐蔽性,可以更加全面的暴露模型在分割学习框架下的漏洞,推动防御技术的发展。

Patent Agency Ranking