公开(公告)号：CN118279732A

公开(公告)日：2024-07-02

申请号：CN202410434653.4

申请日：2024-04-11

Applicant: 上海交通大学

Inventor： 舒飞翔 ,  李积栋 ,  张天硕 ,  刘发中 ,  王梓睿 ,  王晨侃 ,  吴宗儒 ,  刘功申

IPC: G06V20/00 ,  G06V10/776 ,  G06V10/774 ,  G06V10/82 ,  G06N3/084

Abstract: 本发明提供了一种深度学习模型安全评估系统及方法，包括步骤S1：采集待测模型的信息并进行预处理；步骤S2：对待测模型进行测试，得到测试结果；所述测试包括对抗攻击测试、数据投毒鲁棒性测试和后门触发器逆向测试；步骤S3：汇总所有测试结果并进行分析，输出最终的评估结果。本发明为深度学习模型的训练者提供了针对训练的模型的安全性分析，实现了对多种攻击算法的集成，包括对抗样本攻击、后门攻击以及数据投毒攻击等；对模型攻击、防御前后的表现进行分析，使得使用者对自己模型在多种攻击类型的攻击下，性能的改变有清晰的了解；用户可以在一个统一的平台上，对自己的模型进行全方面的评估，更好地把握模型的安全性。