公开(公告)号：CN119066182B

公开(公告)日：2025-04-25

申请号：CN202411569141.5

申请日：2024-11-05

Applicant: 之江实验室

Inventor： 谢兼 ,  魏淑萍 ,  张君兰 ,  肖津 ,  杨文涛 ,  魏居业 ,  段晓冉 ,  葛琦峰 ,  杨江

IPC: G06F16/3329 ,  G06N5/04

Abstract: 本说明书公开了一种针对大模型多轮对话能力的测试方法以及装置。获取主题问题文本，并确定对待测模型进行测试所需的对话轮数。根据对话轮数，执行针对待测模型的多轮输入操作，其中，针对每轮对话，将该轮对话对应的输入数据输入到待测模型中，得到待测模型在该轮对话输出的回答文本，并将待测模型在该轮对话输出的回答文本以及预设的提示语句输入到预设的辅助模型中，以通过辅助模型得到下一轮对话输入到待测模型中的输入数据，当该轮对话为首轮对话时，该轮对话对应的输入数据为主题问题文本。将每轮对话对应的输入数据以及预设的评测文本输入到预设的评测模型，以得到针对待测模型的测试结果，评测文本记录有对待测模型进行评测的评测规则。

公开(公告)号：CN119066182A

公开(公告)日：2024-12-03

申请号：CN202411569141.5

申请日：2024-11-05

Applicant: 之江实验室

Inventor： 谢兼 ,  魏淑萍 ,  张君兰 ,  肖津 ,  杨文涛 ,  魏居业 ,  段晓冉 ,  葛琦峰 ,  杨江

IPC: G06F16/332 ,  G06N5/04

Abstract: 本说明书公开了一种针对大模型多轮对话能力的测试方法以及装置。获取主题问题文本，并确定对待测模型进行测试所需的对话轮数。根据对话轮数，执行针对待测模型的多轮输入操作，其中，针对每轮对话，将该轮对话对应的输入数据输入到待测模型中，得到待测模型在该轮对话输出的回答文本，并将待测模型在该轮对话输出的回答文本以及预设的提示语句输入到预设的辅助模型中，以通过辅助模型得到下一轮对话输入到待测模型中的输入数据，当该轮对话为首轮对话时，该轮对话对应的输入数据为主题问题文本。将每轮对话对应的输入数据以及预设的评测文本输入到预设的评测模型，以得到针对待测模型的测试结果，评测文本记录有对待测模型进行评测的评测规则。

公开(公告)号：CN116594958A

公开(公告)日：2023-08-15

申请号：CN202310606081.9

申请日：2023-05-25

Applicant: 之江实验室

Inventor： 杨文涛 ,  陈红阳 ,  杨建明 ,  严日升 ,  段晓冉

IPC: G06F16/11 ,  G06F16/172 ,  G06F16/16 ,  G06F16/174 ,  G06F16/901

Abstract: 本发明提供了一种图数据集加载方法、系统、电子设备、介质，包括：获取图数据集，并解析前N条图数据，得到预览图数据；基于预览图数据通过交互式的方式配置图数据集字段映射关系，得到图数据集字段映射关系配置文件；对图数据集再次进行完整解析，得到解析图数据；读取图数据集字段映射关系配置文件；从解析图数据中读取对应的图结构点/边/属性，得到标准格式的图结构。本发明方法可以加载任意格式的图数据集，极大地提升了在图计算的过程中在图数据集上的加载效率。