公开(公告)号：CN118673117A

公开(公告)日：2024-09-20

申请号：CN202410780037.4

申请日：2024-06-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李玥泽 ,  梁家卿 ,  肖仰华

IPC: G06F16/332 ,  G06F40/30 ,  G06F16/35

Abstract: 本发明提供了一种大语言模型情感认知能力的评测装置，具有这样的特征，包括评测数据生成模块，用于待评估大语言模型生成各个测试陈述对应的回复语句；关键事件识别评估模块，用于对各个关键事件回复语句分别进行评估，得到关键事件评估分数；混合事件识别评估模块，用于对各个混合事件回复语句分别进行评估，得到混合事件评估分数；隐含情感识别评估模块，用于对各个隐含情感回复语句分别进行评估，得到隐含情感评估分数；意图识别评估模块，用于对各个意图回复语句分别进行评估，得到意图评估分数；综合评估计算模块，用于计算得到综合评估分数。总之，本装置能够得到全面客观的大语言模型情感认知能力的量化结果。

公开(公告)号：CN118689981A

公开(公告)日：2024-09-24

申请号：CN202410780036.X

申请日：2024-06-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李玥泽 ,  梁家卿 ,  肖仰华

IPC: G06F16/332

Abstract: 本发明提供了一种大语言模型不完全信息下的问题处理能力的评测装置，具有这样的特征，包括评测实体生成模块用于根据现有的实体猜测数据，生成层次概念列表和相似实体；简单难度猜测模块用于根据实体及其对应的底层概念，得到对应的简单难度猜测结果和简单难度猜测轮数；普通难度猜测模块用于根据实体及其对应的中间层概念，得到对应的普通难度猜测结果和普通难度猜测轮数；困难难度猜测模块用于根据实体及其对应的底层概念和相似实体，得到对应的困难难度猜测结果、困难难度猜测轮数和问答记录；分析计算模块用于计算得到不完全信息下的问题处理能力结果。总之，本装置能够客观准确地评估大语言模型多个方面的不完全信息下的问题处理能力。

公开(公告)号：CN119248910A

公开(公告)日：2025-01-03

申请号：CN202410780038.9

申请日：2024-06-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李玥泽 ,  梁家卿 ,  肖仰华

IPC: G06F16/332 ,  G06Q50/20 ,  G06Q10/0639

Abstract: 本发明提供了一种面向教育的大语言模型提问能力评测装置，具有这样的特征，包括：数据存储模块用于存储多个普通领域上下文、专业学科领域上下文和跨学科领域上下文；普通领域问题生成模块用于生成六级普通领域问题；专业学科领域问题生成模块用于生成六级专科领域问题；跨学科领域问题生成模块用于生成跨学科问题；普通领域评估模块用于根据所有六级普通领域问题得到普通领域提问能力结果；专业学科领域评估模块用于根据所有六级专科领域问题得到专科领域提问能力结果；跨学科领域评估模块用于根据所有跨学科问题得到跨学科领域提问能力结果。总之，本装置能够从普通、专业学科和跨学科三个领域分别量化评估大语言模型的教学提问能力。