公开(公告)号：CN117608991A

公开(公告)日：2024-02-27

申请号：CN202311585756.2

申请日：2023-11-24

Applicant: 北京京航计算通讯研究所

Inventor： 吴俊爽 ,  陈俊英 ,  满雨菲 ,  曲天润 ,  宋志强 ,  焦春炎 ,  张磊 ,  李皓宇 ,  李春静 ,  杨艳丹 ,  彭婷婷

IPC: G06F11/34 ,  G06F11/36 ,  G06N3/094 ,  G06N3/126 ,  G06F16/35

Abstract: 本发明涉及一种智能算法平台的性能测试方法和工具，属于软件测试领域。方法包括：构建文本序列数据集，并使用改进遗传算法的对抗样本生成方法基于各文本序列生成相应对抗序列数据集；分别在基准智能算法平台和待测智能算法平台运行待训练文本分类模型，得到基准智能算法平台性能指标值和待测智能算法平台的性能测试结果；在待测智能算法平台使用在该平台训练好的文本分类模型对对抗序列数据集进行分类预测，得到对抗预测结果；基于基准智能算法平台性能指标值、待测智能算法平台的性能测试结果和对抗预测结果得到待测智能算法平台的性能评价结果。本发明方法解决了现有工具不能对平台训练得到的智能算法模型的对抗鲁棒性进行评价的问题。