一种面向深度学习图像分类模型的泛化的安全性评估方法

    公开(公告)号:CN112464245A

    公开(公告)日:2021-03-09

    申请号:CN202011351675.2

    申请日:2020-11-26

    Abstract: 本发明公开了面向深度学习图像分类模型的泛化的安全性评估方法,属于机器学习技术领域。目前深度学习相关研究中所要解决的重要问题是在解决深度学习图像分类模型面临的具有泛化特征的安全威胁问题的同时提高模型的鲁棒性,本发明利用面向深度学习图像分类模型的泛化的安全性评估方法,通过测试深度学习图像分类模型的针对对抗样本的主动防御能力、对抗样本检测能力以及针对对抗样本的被动防御能力等指标,对深度学习图像分类模型的安全性做出全面评估,并在评估过程中发掘模型存在的安全漏洞,与此同时,由于本发明存在的泛化特性,使得该方法能够适用于绝大多数深度学习图像分类模型,这对提高深度学习领域的安全性具有重要的理论和实践意义。

    面向广义非负矩阵分解算法的对抗性机器学习防御方法

    公开(公告)号:CN112488321B

    公开(公告)日:2022-07-01

    申请号:CN202011417784.X

    申请日:2020-12-07

    Abstract: 本发明公开了一种面向广义非负矩阵分解算法的对抗性机器学习防御方法,属于机器学习安全领域。目前,该领域亟待解决的关键技术问题是抵御对抗样本攻击和提高机器学习模型的鲁棒性。本发明首先利用特征压缩的检测方法筛选出部分对抗样本,然后,对比扰动消减前后图像样本通过机器学习模型后的输出结果对对抗样本进一步筛选,从而形成级联融合的广度对抗样本检测方案,提高了图像对抗样本的检测效率,同时在非负矩阵分解算法中引入异常点惩罚机制,提出了基于误差阈值的可屏蔽鲁棒性广义非负矩阵分解算法,消除了异常点数据的影响,提高了机器学习模型的鲁棒性。

    一种面向深度学习图像分类模型的泛化的安全性评估方法

    公开(公告)号:CN112464245B

    公开(公告)日:2022-05-03

    申请号:CN202011351675.2

    申请日:2020-11-26

    Abstract: 本发明公开了面向深度学习图像分类模型的泛化的安全性评估方法,属于机器学习技术领域。目前深度学习相关研究中所要解决的重要问题是在解决深度学习图像分类模型面临的具有泛化特征的安全威胁问题的同时提高模型的鲁棒性,本发明利用面向深度学习图像分类模型的泛化的安全性评估方法,通过测试深度学习图像分类模型的针对对抗样本的主动防御能力、对抗样本检测能力以及针对对抗样本的被动防御能力等指标,对深度学习图像分类模型的安全性做出全面评估,并在评估过程中发掘模型存在的安全漏洞,与此同时,由于本发明存在的泛化特性,使得该方法能够适用于绝大多数深度学习图像分类模型,这对提高深度学习领域的安全性具有重要的理论和实践意义。

    一种基于扰动的对抗样本生成与对抗性防御方法

    公开(公告)号:CN112465019B

    公开(公告)日:2022-12-27

    申请号:CN202011351688.X

    申请日:2020-11-26

    Abstract: 本发明公开了一种基于扰动的对抗样本生成与对抗性防御方法,属于深度学习技术领域。目前对抗样本生成的方法多样化,关于何种扰动更易形成对抗样本是所要解决的重要问题。本发明通过在图像数据中添加扰动生成对抗样本,基于深度神经网络模型,挖掘测试样本的高影响扰动,研究扰动对于对抗样本生成的相关影响,将无维数匹配约束的广义非负矩阵分解算法的降维功能应用在基于扰动的对抗样本的防御过程中,提出基于无维数匹配约束降维的对抗样本扰动消减方法,能够降低深度神经网络模型的识别出错率。

    面向广义非负矩阵分解算法的对抗性机器学习防御方法

    公开(公告)号:CN112488321A

    公开(公告)日:2021-03-12

    申请号:CN202011417784.X

    申请日:2020-12-07

    Abstract: 本发明公开了一种面向广义非负矩阵分解算法的对抗性机器学习防御方法,属于机器学习安全领域。目前,该领域亟待解决的关键技术问题是抵御对抗样本攻击和提高机器学习模型的鲁棒性。本发明首先利用特征压缩的检测方法筛选出部分对抗样本,然后,对比扰动消减前后图像样本通过机器学习模型后的输出结果对对抗样本进一步筛选,从而形成级联融合的广度对抗样本检测方案,提高了图像对抗样本的检测效率,同时在非负矩阵分解算法中引入异常点惩罚机制,提出了基于误差阈值的可屏蔽鲁棒性广义非负矩阵分解算法,消除了异常点数据的影响,提高了机器学习模型的鲁棒性。

    一种基于扰动的对抗样本生成与对抗性防御方法

    公开(公告)号:CN112465019A

    公开(公告)日:2021-03-09

    申请号:CN202011351688.X

    申请日:2020-11-26

    Abstract: 本发明公开了一种基于扰动的对抗样本生成与对抗性防御方法,属于深度学习技术领域。目前对抗样本生成的方法多样化,关于何种扰动更易形成对抗样本是所要解决的重要问题。本发明通过在图像数据中添加扰动生成对抗样本,基于深度神经网络模型,挖掘测试样本的高影响扰动,研究扰动对于对抗样本生成的相关影响,将无维数匹配约束的广义非负矩阵分解算法的降维功能应用在基于扰动的对抗样本的防御过程中,提出基于无维数匹配约束降维的对抗样本扰动消减方法,能够降低深度神经网络模型的识别出错率。

    面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法

    公开(公告)号:CN112465015A

    公开(公告)日:2021-03-09

    申请号:CN202011346295.X

    申请日:2020-11-26

    Abstract: 本发明公开了一种面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法,属于对抗性机器学习技术领域。目前对抗性机器学习技术领域所要解决的关键技术问题是提高机器学习模型抵御对抗性攻击的能力。基于静态广义非负矩阵分解算法(General Non‑negative Matrix Factorization,GNMF)的机器学习功能,提出基于大批量的自适应梯度攻击算法;基于动态增量广义非负矩阵分解算法(Incremental GNMF,IGNMF)的机器学习功能,提出基于动量迭代的自适应梯度攻击算法;在黑盒攻击环境下,构建与基于广义非负矩阵分解算法的机器学习模型近似相同的替代模型训练对抗样本;最后对提出的黑盒攻击策略进一步优化,N次迭代集成多个预训练的GNMF替代模型以构造对抗样本,进而探究性能较优的黑盒攻击方法。

Patent Agency Ranking