公开(公告)号：CN119474276B

公开(公告)日：2025-05-13

申请号：CN202510027118.1

申请日：2025-01-08

Applicant: 浙江大学

Inventor： 寿黎但 ,  李哲玮 ,  杨定裕 ,  李环 ,  陈珂

IPC: G06F16/332 ,  G06F16/33 ,  G06N5/04 ,  G06N5/022

Abstract: 本发明公开了一种面向检索增强生成系统的错误定位方法、电子设备、介质，包括：获取检索增强生成系统的中间执行结果，包括：用户问题、原始检索相关文档、模型响应、标准答案；将原始检索相关文档插入第一提示词模板中，输入至第一大语言模型，提取原始检索事实三元组；将所有原始检索事实三元组插入第二提示词模板中，输入至第二大语言模型，判断所有原始检索事实三元组能否推导答案以回答用户问题；若能推导答案，则判定检索增强生成系统中的检索器正常；反之，则判定检索器异常；将用户问题、模型响应、标准答案、原始检索事实三元组输入至第三大语言模型中，判定模型响应的准确完整性，从而判断检索增强生成系统中的大语言模型是否异常。

公开(公告)号：CN119474276A

公开(公告)日：2025-02-18

申请号：CN202510027118.1

申请日：2025-01-08

Applicant: 浙江大学

Inventor： 寿黎但 ,  李哲玮 ,  杨定裕 ,  李环 ,  陈珂

IPC: G06F16/332 ,  G06F16/33 ,  G06N5/04 ,  G06N5/022

Abstract: 本发明公开了一种面向检索增强生成系统的错误定位方法、电子设备、介质，包括：获取检索增强生成系统的中间执行结果，包括：用户问题、原始检索相关文档、模型响应、标准答案；将原始检索相关文档插入第一提示词模板中，输入至第一大语言模型，提取原始检索事实三元组；将所有原始检索事实三元组插入第二提示词模板中，输入至第二大语言模型，判断所有原始检索事实三元组能否推导答案以回答用户问题；若能推导答案，则判定检索增强生成系统中的检索器正常；反之，则判定检索器异常；将用户问题、模型响应、标准答案、原始检索事实三元组输入至第三大语言模型中，判定模型响应的准确完整性，从而判断检索增强生成系统中的大语言模型是否异常。