公开(公告)号：CN119884685A

公开(公告)日：2025-04-25

申请号：CN202411952598.4

申请日：2024-12-27

Applicant: 杭州高新区(滨江)区块链与数据安全研究院 ,  浙江大学

Inventor： 万劼 ,  杨子祺 ,  任奎

IPC: G06F18/21 ,  G06F18/2415 ,  G06F18/214

Abstract: 本申请涉及一种深度学习模型的评估方法、装置、电子装置和存储介质，其中，该方法包括：获取原始样本，并获取对原始样本添加扰动项的初始对抗样本；将原始样本输入至集成学习模型，利用集成学习模型中的各子模型对原始样本进行处理，得到各子模型对应的第一输出值，并将初始对抗样本输入至集成学习模型，利用各子模型对初始对抗样本进行处理，得到各子模型对应的第二输出值；计算第一输出值和第二输出值之间的损失函数结果；基于损失函数结果，优化扰动项，生成目标对抗样本；使用目标对抗样本对待评估的深度学习模型进行攻击，生成针对深度学习模型的评估结果。通过本申请，解决了对于深度学习模型的评估算法数据依赖性强的问题。

公开(公告)号：CN117372804A

公开(公告)日：2024-01-09

申请号：CN202311263930.1

申请日：2023-09-27

Applicant: 浙江大学 ,  浙江大学杭州国际科创中心

Inventor： 杨子祺 ,  万劼 ,  洛伦佐.卡瓦拉罗

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094

Abstract: 本发明公开了一种基于图像梯度计算的对抗样本防御方法，通过对输入样本求取边缘梯度之后的梯度信息进行检测来满足识别对抗样本的需求，降低遭受对抗攻击的风险，从而评估模型的鲁棒性。通过对输入图像提取边缘梯度，训练一个基于分类器的主任务模型，由于对抗样本与正常样本的梯度信息之间存在较大差异，使得对抗样本能很好地被主任务模型识别；通过训练一个“主任务模型”来对输入样本经过边缘梯度提取之后的图像进行分类，从而能够更好地识别对抗样本，由于本发明采用浅层神经网络，因此具有响应速度快的优点；由于本发明采用图像边缘信息作为检测标准，可以极大提高分类准确率。