公开(公告)号：CN119025877A

公开(公告)日：2024-11-26

申请号：CN202411141999.1

申请日：2024-08-20

Applicant: 哈尔滨思和信息技术股份有限公司

Inventor： 马旭春 ,  张刚 ,  王旭 ,  范斌 ,  赵志刚 ,  王昊 ,  陈冠男

IPC: G06F18/21 ,  G06F18/22 ,  G06F16/332

Abstract: 本发明公开了一种模型性能评估方法、装置、电子设备及存储介质，其中，该方法包括：从待使用文本数据中提取至少一个原子事实；针对各事实原子，基于待评估模型对当前事实原子中的待回答问题进行问题分析和答复，得到与待回答问题对应的待评估答案；基于预先构建的目标模型确定与标准答案对应的事实嵌入向量，以及与待评估答案对应的待比对向量；基于事实嵌入向量和待比对向量确定待评估答案对待回答问题的事实支持属性；根据所有的待评估答案对相应的待回答问题的事实支持属性，确定待评估模型的模型性能评估结果。实现了更加客观准确的对大语言模型进行模型性能评估的效果。