一种面向分割学习的模型后门攻击脆弱性分析方法和系统

    公开(公告)号:CN118366010B

    公开(公告)日:2024-09-20

    申请号:CN202410781553.9

    申请日:2024-06-18

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向分割学习的模型后门攻击脆弱性分析方法和系统,属于人工智能安全领域。收集图像分类模型在分割学习过程中由客户端底层模型发送至服务器端中间模型的第一中间层表示,结合辅助数据集迭代训练底层替代模型;利用第一中间层表示训练聚类器,获取聚类类别到真实类别的映射关系,得到锚点;基于统计思想获取与图像触发器对应的中间层表示触发器;基于中间层表达形式的锚点替换目标类样本的后门攻击方法,向中间模型注入后门并训练;利用测试样本检测图像分类模型的后门攻击成功率,获得模型后门攻击脆弱性。本发明综合考虑了攻击测试方法的成功率和隐蔽性,可以更加全面的暴露模型在分割学习框架下的漏洞,推动防御技术的发展。

    一种基于LLVM的变量类型信息修复与比较方法及系统

    公开(公告)号:CN114610320B

    公开(公告)日:2024-06-21

    申请号:CN202210279549.3

    申请日:2022-03-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于LLVM的变量类型信息修复与比较方法和系统,包括变量类型信息修复分析和变量类型比较分析;其中变量类型信息修复分析包括将目标程序源代码编译到LLVM IR、目标变量提取、LLVM IR变量类型与源代码信息匹配、类型分析结果存储。变量类型信息修复分析和变量类型比较分析通过两个的LLVM分析流实现,且变量类型比较分析结果应用了变量类型信息修复分析结果。该方法和系统可以解决前LLVM IR中存在类型信息缺失和/或联合体类型相关类型导致无法进行类型比较分析以及比较分析不准确的问题。

    一种目标检测模型的窃取脆弱性分析方法和系统

    公开(公告)号:CN117496118B

    公开(公告)日:2024-06-04

    申请号:CN202311374926.2

    申请日:2023-10-23

    Applicant: 浙江大学

    Abstract: 本发明公开了一种目标检测模型的窃取脆弱性分析方法和系统,属于模型窃取和人工智能知识产权保护分析领域。包括:获取相应任务场景和预测类别的无标注样本集;基于不确定度的主动学习方法,从无标注样本集中筛选查询数据集并迭代训练替代模型;基于互联网样本的数据集增强,更新查询数据集;基于目标检测的多尺度一致性,优化更新后的查询数据集中的标注;基于优化标注后的查询数据集训练替代模型;根据替代模型和目标模型的性能分析结果判断目标模型的窃取脆弱性。本发明填补了现有研究中针对目标检测深度学习模型的模型窃取威胁分析的空缺。

    一种面向代码相似性检测的跨编程语言迁移方法和系统

    公开(公告)号:CN117608651A

    公开(公告)日:2024-02-27

    申请号:CN202311418645.2

    申请日:2023-10-30

    Applicant: 浙江大学

    Abstract: 本发明提出了一种面向代码相似性检测的跨编程语言迁移方法和系统,属于软件工程和深度学习领域。利用高资源有标注源语言代码库对多语言预训练代码编码器进行有监督对比学习;将低资源无标注目标语言代码库分为两部分,基于两部分代码库轮流对微调的多语言预训练代码编码器进行自适应对比学习,自适应对比学习中的对比样本获取方式包括挖掘和生成两种模式,训练过程中基于偏好参数从挖掘和生成的对比样本中抽样;将经过自适应对比学习之后得到的多语言预训练代码编码器作为跨编程语言迁移之后的结果,用于在低资源目标语言上实现代码相似性检测。本发明可以将一个在高资源语言上训练的相似性检测模型,迁移到在低资源语言上实现代码相似性检测。

    一种零样本大模型生成代码检测方法和系统

    公开(公告)号:CN117608648A

    公开(公告)日:2024-02-27

    申请号:CN202311418650.3

    申请日:2023-10-30

    Applicant: 浙江大学

    Abstract: 本发明提出了一种零样本大模型生成代码检测方法和系统,属于软件工程和深度学习领域。包括:基于思维链提示方法,由生成模型重写原始代码片段;所述的思维链提示方法为:以原始代码片段为输入,由生成模型翻译得到该原始代码片段对应的自然语言分析文本,再以自然语言分析文本为输入,生成对应所述自然语言分析文本的代码,作为重新代码片段;利用代码相似性模型计算原始代码片段和重新代码片段的相似性得分,若相似性得分高于阈值,判断所述原始代码片段是由大语言模型生成的代码。本发明使得检测方法能够不依赖于似然估计,解决了根源在于对代码内容的不准确似然估计问题。

    面向部分可观测多机器人竞争环境的对抗策略生成方法

    公开(公告)号:CN117592506A

    公开(公告)日:2024-02-23

    申请号:CN202311436314.1

    申请日:2023-11-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向部分可观测多机器人竞争环境的对抗策略生成方法,属于多智能体强化学习安全领域。在多机器人竞赛机制的部分可观测竞争环境下,将各方可控制的多机器人视为多智能体系统,竞争者构建针对对手方多智能体系统的子博弈集合;竞争者控制的每个智能体为每一个子博弈维护一个重放缓冲区,用于存储竞争者与目标多智能体系统在环境中的交互数据并用于训练过程,采用轨迹共享策略均衡用于训练所有子策略的交互数据量;竞争者控制的每个智能体在训练阶段生成针对每个子博弈的最佳子策略,所有子策略的集合即为对抗策略;部署阶段,竞争者控制的智能体根据各时刻的观测确定对应子博弈,再根据最佳子策略输出机器人决策动作。

    一种面向人工智能安全的物理灯光后门攻击的训练方法

    公开(公告)号:CN116664978A

    公开(公告)日:2023-08-29

    申请号:CN202310652261.0

    申请日:2023-06-02

    Abstract: 本发明属于人工智能安全领域,并公开了一种面向人工智能安全的物理灯光后门攻击的训练方法,包括:对目标对象进行灯光后门攻击,根据灯光颜色在目标对象上产生对应的灯光触发器,基于灯光触发器生成后门图像数据;获取干净图像数据,基于后门图像数据和所述干净图像数据分别构建训练集;干净图像数据为未产生灯光触发器的原始图像;构建后门模型,所述后门模型为深度学习模型,基于所述训练集对所述后门模型进行训练,得到训练后的后门模型;构建测试集,基于所述测试集对所述训练后的后门模型进行评估,得到灯光后门攻击的攻击成功率数据和干净准确率数据。本发明所述技术方案拥有较高攻击成功率的同时实现了更加隐蔽的物理后门攻击。

    一种神经网络模型后门检测方法和系统

    公开(公告)号:CN116383814A

    公开(公告)日:2023-07-04

    申请号:CN202310644147.3

    申请日:2023-06-02

    Applicant: 浙江大学

    Abstract: 本发明公开了一种神经网络模型后门检测方法和系统,属于神经网络模型安全保护技术领域。将目标神经网络模型划分为特征提取器部分和分类器部分,定义特征提取器部分的输出为中间层表示;通过最大化源类别的分类置信度的方式,逆向生成每一个源类别的中间层表示;由分类器部分获取每一个源类别的中间层表示的分类置信度向量,预处理每一个源类别的分类置信度向量,拼接得到分类置信度矩阵;根据分类置信度矩阵计算异常指标值,若异常指标值大于阈值,则判断目标神经网络模型存在后门,并定位后门的目标类别。本发明能够自动生成中间层表示而非依赖现成的辅助数据,且对于后门攻击的触发器形式不敏感,后门检测精度高,适用范围广。

    基于SGX软件扩展指令的API密钥保护方法及系统

    公开(公告)号:CN111475782B

    公开(公告)日:2022-11-08

    申请号:CN202010271832.2

    申请日:2020-04-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于SGX软件扩展指令的API密钥保护方法,其包括以下步骤:(1)API密钥保护系统初始化、(2)远程认证与API密钥导入、(3)API请求签名与签名信息导出;该方法通过引入Intel SGX硬件与SGX的可信空间机制构建安全的API密钥存储与使用环境,为用户API密钥提供保护;本发明还公开了基于SGX软件扩展指令的API密钥保护系统,其包括用于与用户可信设备协作完成SGX远程认证的远程认证模块;用于在SGX安全区内对已经获取的API密钥进行存储与管理的密钥管理模块;用于向用户程序提供可信时间戳的可信时间模块;以及用于根据用户程序的请求与API密钥生成有效签名的签名模块。

Patent Agency Ranking