公开(公告)号：CN113935913A

公开(公告)日：2022-01-14

申请号：CN202111170040.7

申请日：2021-10-08

Applicant: 北京计算机技术及应用研究所

Inventor： 王斌 ,  郭敏 ,  曾颖明 ,  卢宏业 ,  马书磊 ,  方永强 ,  马晓军 ,  桓琦

IPC: G06T5/00 ,  G06N3/04 ,  G06N3/08 ,  G06N3/12

Abstract: 本发明涉及一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法，涉及人工智能安全技术领域。主要技术方案包括：1初始化算法参数以及对抗样本集合；2根据对抗攻击效果挑选优势对抗样本子集；3判断最优对抗样本是否攻击成功，如果攻击成功，则转到步骤6；4否则利用对抗样本子集交叉产生新的对抗样本集合；5按照一定概率添加隐蔽性噪声；6输出对抗样本并进行测试。本发明利用视觉感知的掩蔽效应，使产生的对抗样本与原始图像的视觉感知相似度高，具有良好的隐蔽性，能够在不被察觉的情况下发动黑盒对抗攻击。

公开(公告)号：CN116386607A

公开(公告)日：2023-07-04

申请号：CN202310355410.7

申请日：2023-04-06

Applicant: 北京计算机技术及应用研究所 ,  西安电子科技大学

Inventor： 郭敏 ,  卢宏业 ,  方永强 ,  张箐碚 ,  桓琦 ,  曾颖明 ,  张海宾

IPC: G10L15/06 ,  G10L15/02 ,  G10L15/04 ,  G10L25/87 ,  H04L9/40

Abstract: 本发明涉及一种针对语音识别后门攻击的触发器逆向还原方法，涉及人工智能安全技术领域。主要技术方案包括：1构建投毒训练集；2计算投毒训练集样本相似度矩阵；3根据相似度矩阵检测潜在投毒样本；4利用潜在投毒样本进行触发器逆向还原；5投毒训练集去污化，得到去污化训练集；6利用投毒训练集、去污化训练集分别训练模型；7测试并对比去污化前后的模型识别结果。本发明通过语音端点检测与语音相似度得到潜在投毒样本，并对投毒样本使用的触发器进行逆向还原，实现训练集去污化，削弱投毒样本的后门攻击效果，降低后门攻击对模型的影响。