公开(公告)号：CN118035711A

公开(公告)日：2024-05-14

申请号：CN202410431137.6

申请日：2024-04-11

申请人： 国家计算机网络与信息安全管理中心江苏分中心

发明人： 嵇程 ,  翟羽佳 ,  熊逸文 ,  李鹏霄 ,  项菲 ,  王媛媛 ,  王子涵

IPC分类号： G06F18/21 ,  G06F18/2431 ,  G06N3/09

摘要： 本发明公开了一种针对大模型内容安全能力的评测方法及系统，属于网络空间安全技术领域。所述评测方法包括步骤1，构建多模态、多领域和多题型的评测集；步骤2，构建内容安全评测模型；步骤3，将评测集的问题输入至被测大模型，输出对应的大模型回答；将问题和对应大模型回答整理成问答集，将所述问答集输入至所述内容安全评测模型，根据内容安全评测模型的输出对所述大模型进行综合打分，获得针对大模型内容安全能力的评测结果。该方法可以量化评价大模型跨模态内容安全防护性能，为监管部门、第三方评测机构、大模型研发机构提供参考数据。

公开(公告)号：CN118035711B

公开(公告)日：2024-06-14

申请号：CN202410431137.6

申请日：2024-04-11

申请人： 国家计算机网络与信息安全管理中心江苏分中心

发明人： 嵇程 ,  翟羽佳 ,  熊逸文 ,  李鹏霄 ,  项菲 ,  王媛媛 ,  王子涵

IPC分类号： G06F18/21 ,  G06F18/2431 ,  G06N3/09

摘要： 本发明公开了一种针对大模型内容安全能力的评测方法及系统，属于网络空间安全技术领域。所述评测方法包括步骤1，构建多模态、多领域和多题型的评测集；步骤2，构建内容安全评测模型；步骤3，将评测集的问题输入至被测大模型，输出对应的大模型回答；将问题和对应大模型回答整理成问答集，将所述问答集输入至所述内容安全评测模型，根据内容安全评测模型的输出对所述大模型进行综合打分，获得针对大模型内容安全能力的评测结果。该方法可以量化评价大模型跨模态内容安全防护性能，为监管部门、第三方评测机构、大模型研发机构提供参考数据。