公开(公告)号：CN113947579A

公开(公告)日：2022-01-18

申请号：CN202111212059.3

申请日：2021-10-18

Applicant: 北京计算机技术及应用研究所

Inventor： 曾颖明 ,  王斌 ,  方永强 ,  张顺 ,  石波 ,  郭敏 ,  马晓军 ,  桓琦

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06N3/12

Abstract: 本发明涉及一种针对图像目标探测神经网络的对抗样本检测方法，涉及人工智能安全技术领域。该方法包括步骤：构建对抗样本检测数据集；利用目标探测神经网络模型提取对抗样本检测特征数据集；搭建对抗样本检测神经网络；进行对抗样本检测神经网络训练，得到对抗样本检测模型；进行对抗样本检测模型性能测试。本发明利用目标探测神经网络生成的目标探测框之间存在顺序关系，提升了对抗样本检测准确率，并且通过浅层特征共享机制避免了过多额外计算。

公开(公告)号：CN114332446A

公开(公告)日：2022-04-12

申请号：CN202111212057.4

申请日：2021-10-18

Applicant: 北京计算机技术及应用研究所

Inventor： 方永强 ,  郭敏 ,  王斌 ,  张顺 ,  陈志浩 ,  曾颖明 ,  许文睿 ,  马晓军 ,  桓琦

IPC: G06V10/24 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种在物理世界下具有旋转鲁棒性的图像对抗样本生成方法，涉及人工智能安全技术领域。主要步骤包括1.初始化算法参数与图像预处理得到当前对抗样本；2.利用当前对抗样本旋转得到旋转后的对抗样本；3.判断是否满足迭代终止条件，是则输出最终对抗样本并执行步骤7，否则执行步骤4；4.计算旋转不变联合梯度矩阵；5.对旋转不变联合梯度矩阵进行均值滤波；6.当前对抗样本更新，并返回步骤23；7.在真实物理世界下利用最终对抗样本进行测试，观察不同旋转角度下的对抗攻击效果。本发明生成的对抗样本在物理世界下具有旋转鲁棒性，解决了对抗样本在旋转过后攻击存在失效的情况，进一步提高了攻击成功率。

公开(公告)号：CN116484274A

公开(公告)日：2023-07-25

申请号：CN202310363794.7

申请日：2023-04-07

Applicant: 北京计算机技术及应用研究所 ,  西安电子科技大学

Inventor： 方永强 ,  张顺 ,  郭敏 ,  张箐碚 ,  桓琦 ,  曾颖明 ,  张海宾

IPC: G06F18/241 ,  G06F18/2415 ,  G06N3/048 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明涉及一种针对神经网络算法投毒攻击的鲁棒训练方法，属于人工智能安全技术领域。该方法包括步骤：构建神经网络；构建鲁棒训练损失函数；使用包含投毒样本的训练集对神经网络进行预训练，得到神经网络预训练模型；根据神经网络预训练模型，获得包含投毒样本的训练集被预测为真实标签的概率，过滤预测概率低于过滤阈值的样本，从而剔除投毒样本，得到干净的训练集；使用干净的训练集对神经网络预训练模型进行再训练，得到神经网络模型；对神经网络模型进行性能测试。本发明利用模型预测结果与单调递增函数实现样本权重的自适应更新，增大投毒样本与干净样本的权重差异，降低了神经网络模型拟合投毒样本的风险，提高神经网络模型分类的准确率。

公开(公告)号：CN114332446B

公开(公告)日：2022-07-12

申请号：CN202111212057.4

申请日：2021-10-18

Applicant: 北京计算机技术及应用研究所

Inventor： 方永强 ,  郭敏 ,  王斌 ,  张顺 ,  陈志浩 ,  曾颖明 ,  许文睿 ,  马晓军 ,  桓琦

IPC: G06V10/24 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种在物理世界下具有旋转鲁棒性的图像对抗样本生成方法，涉及人工智能安全技术领域。主要步骤包括1.初始化算法参数与图像预处理得到当前对抗样本；2.利用当前对抗样本旋转得到旋转后的对抗样本；3.判断是否满足迭代终止条件，是则输出最终对抗样本并执行步骤7，否则执行步骤4；4.计算旋转不变联合梯度矩阵；5.对旋转不变联合梯度矩阵进行均值滤波；6.当前对抗样本更新，并返回步骤23；7.在真实物理世界下利用最终对抗样本进行测试，观察不同旋转角度下的对抗攻击效果。本发明生成的对抗样本在物理世界下具有旋转鲁棒性，解决了对抗样本在旋转过后攻击存在失效的情况，进一步提高了攻击成功率。

公开(公告)号：CN113947579B

公开(公告)日：2022-05-17

申请号：CN202111212059.3

申请日：2021-10-18

Applicant: 北京计算机技术及应用研究所

Inventor： 曾颖明 ,  王斌 ,  方永强 ,  张顺 ,  石波 ,  郭敏 ,  马晓军 ,  桓琦

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06N3/12

Abstract: 本发明涉及一种针对图像目标探测神经网络的对抗样本检测方法，涉及人工智能安全技术领域。该方法包括步骤：构建对抗样本检测数据集；利用目标探测神经网络模型提取对抗样本检测特征数据集；搭建对抗样本检测神经网络；进行对抗样本检测神经网络训练，得到对抗样本检测模型；进行对抗样本检测模型性能测试。本发明利用目标探测神经网络生成的目标探测框之间存在顺序关系，提升了对抗样本检测准确率，并且通过浅层特征共享机制避免了过多额外计算。