公开(公告)号：CN109086884A

公开(公告)日：2018-12-25

申请号：CN201810781467.2

申请日：2018-07-17

Applicant: 上海交通大学

Inventor： 易平 ,  胡嘉尚 ,  张浩 ,  倪洁 ,  何芷珊

IPC: G06N3/08 ,  G06K9/62

CPC classification number: G06N3/08 ,  G06K9/6217

Abstract: 一种基于梯度逆向对抗样本复原的神经网络优化训练方法，通过从样本集中检测出对抗样本，然后通过攻击方式将其恢复为普通样本，从而实现样本集的优化，本发明通过创新地对对抗样本增加扰动并使其跨过决策边界还原为正常样本，可以把这些样本与正常样本等同看待，也提高了系统的复用程度，并且本发明在恢复对抗样本的时候，并不需要事先知道它的生成方式，即独立于对抗样本生成方式，对各种对抗样本具有普适性。

公开(公告)号：CN109086884B

公开(公告)日：2020-09-01

申请号：CN201810781467.2

申请日：2018-07-17

Applicant: 上海交通大学

Inventor： 易平 ,  胡嘉尚 ,  张浩 ,  倪洁 ,  何芷珊

IPC: G06N3/08 ,  G06K9/62

Abstract: 一种基于梯度逆向对抗样本复原的神经网络攻击防御方法，通过从样本集中检测出对抗样本，然后通过攻击方式将其恢复为普通样本，从而实现样本集的优化，本发明通过创新地对对抗样本增加扰动并使其跨过决策边界还原为正常样本，可以把这些样本与正常样本等同看待，也提高了系统的复用程度，并且本发明在恢复对抗样本的时候，并不需要事先知道它的生成方式，即独立于对抗样本生成方式，对各种对抗样本具有普适性。

公开(公告)号：CN109165671A

公开(公告)日：2019-01-08

申请号：CN201810768347.9

申请日：2018-07-13

Applicant: 上海交通大学

Inventor： 易平 ,  胡嘉尚 ,  张浩 ,  倪洁 ,  何芷珊 ,  胡又佳

IPC: G06K9/62

Abstract: 一种基于样本到决策边界距离的对抗样本检测方法，根据普通样本生成对抗样本，并要对所有样本进行特征提取，即计算每个样本到决策边界的距离估计值，然后把距离估计值作为样本的特征对分类器进行训练，训练后的分类器即为检测器，用于检测对抗样本。本发明能够广泛应用于基于分类器的机器学习模型，如语音识别、图像分类等多个领域，提高对抗样本检测率。用于人工智能API，可以对输入样本进行过滤，对人工智能的安全性有明显提升。

公开(公告)号：CN108932527A

公开(公告)日：2018-12-04

申请号：CN201810587300.2

申请日：2018-06-06

Applicant: 上海交通大学

Inventor： 易平 ,  胡嘉尚 ,  张浩 ,  倪洁 ,  何芷珊 ,  胡又佳

IPC: G06K9/62

Abstract: 一种使用交叉训练模型检测对抗样本的方法，首先通过普通样本分别训练两个待优化模型，然后混合生成训练样本集并交叉训练若干次，完成训练后得到的两个模型分别用于对样本进行分类，根据分类结果的是否相同判断该样本是否为对抗样本；本发明能够显著减小系统受到对抗样本攻击的风险，能够广泛应用于基于分类器的机器学习模型，如语音识别、图像分类等多个领域，提高对抗样本检测率。用于人工智能API，可以对输入样本进行过滤，对人工智能的安全性有明显提升。