公开(公告)号：CN118627492A

公开(公告)日：2024-09-10

申请号：CN202411092157.1

申请日：2024-08-09

申请人： 北京中科闻歌科技股份有限公司 ,  天津中科闻歌科技有限公司

发明人： 谢文 ,  宋泽涛 ,  赵恬宁 ,  冯晓斌 ,  张高科 ,  王林 ,  徐楠 ,  侯越先 ,  董立峰 ,  罗引 ,  王磊

IPC分类号： G06F40/216 ,  G06F40/226

摘要： 本发明提供了一种检测目标模型的方法、电子设备及存储介质，涉及模型检测技术领域，所述方法能够根据指定选择题数据列表集合的总集和目标模型获取预设选项标签列表对应的第一累计被选择次数列表集合，获取第一累计被选择次数列表集合对应的关键向量列表集合并获取关键向量列表集合对应的关键向量相关系数列表，当大于预设向量相关系数的关键向量相关系数的数量与所有关键向量相关系数的比值不大于预设比值时，确定目标模型在生成选择题答案时不存在选项标签偏见或选项位置偏好，可知本发明能够检测出目标模型在生成选择题答案时是否存在选项标签偏见或选项位置偏好，有利于增强目标模型的可靠性，提高目标模型在教育和测试等环境中的公正性。

公开(公告)号：CN118940299A

公开(公告)日：2024-11-12

申请号：CN202411402787.4

申请日：2024-10-09

申请人： 天津中科闻歌科技有限公司 ,  北京中科闻歌科技股份有限公司

发明人： 冯晓斌 ,  谢文 ,  王林 ,  侯越先 ,  徐楠 ,  董立峰 ,  罗引 ,  王磊

IPC分类号： G06F21/60 ,  G06N20/00

摘要： 本发明提供了一种提高目标模型的安全性的方法、电子设备及存储介质，涉及模型技术领域，所述方法能够根据指定数据集的总集获取增量权重列表，进一步的获取第四类指令对应的模拟增量权重，根据模拟增量权重对目标模型的权重进行更新，通过更新目标模型的权重来提高目标模型的安全性，可知本发明通过权重组合的方式获取模拟增量权重，根据模拟增量权重对目标模型的权重进行更新，提高目标模型的安全性的同时能够缓解目标模型针对第五类指令的过度防御，第五类指令为与第四类指令有相似的构建方式但不会指导目标模型违反其内部的安全策略并输出不良内容的指令，无需混合大量的通用指令数据，节省了算力时间消耗，对计算机设备的显存要求较低。