公开(公告)号：CN119862889A

公开(公告)日：2025-04-22

申请号：CN202411940326.2

申请日：2024-12-26

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 罗臻 ,  王婧宜 ,  徐楠 ,  郝艳妮 ,  李庆晓 ,  李军锋 ,  曹家 ,  罗引 ,  王磊

IPC: G06F40/30

Abstract: 本公开涉及一种基于裁判模型的大语言模型评价方法、装置、设备及介质，该方法包括：将预先获取的测试问题分别输入待评价的多个大语言模型，并获取各个大语言模型的输出结果；将测试问题、各个大语言模型的输出结果以及预设的第一引导指令输入预先建立的裁判模型，得到裁判模型输出的模型评价结果，第一引导指令用于引导裁判模型采用准确性、相关性、创造性、逻辑连贯性和信息完整性等目标评价标准对多个大语言模型的模型性能进行评价，模型评价结果包括性能最优的目标大语言模型的信息的。本公开通过将多个大语言模型针对同一问题的输出结果输入裁判模型，引导裁判模型从多角度对各个大语言模型的输出结果进行评价，能够自动对大语言模型进行全面评价。