公开(公告)号：CN119168074A

公开(公告)日：2024-12-20

申请号：CN202411042039.X

申请日：2024-07-31

Applicant: 清华大学 ,  杭州阿里云飞天信息技术有限公司

Inventor： 刘洋 ,  李鹏 ,  刘安 ,  杨宗瀚 ,  张真赫 ,  胡清源 ,  严明 ,  张佶 ,  黄非

IPC: G06N5/043 ,  G06N5/04 ,  G06N5/022 ,  G06F18/214

Abstract: 本发明提供一种基于偏好学习增强大语言模型的领域特定能力的方法及系统，包括：获取无标签数据，通过预设的领域专家模型对所述无标签数据进行推理，生成相应的输出分布；将所述输出分布输入至大语言模型，通过所述大语言模型基于输出分布生成偏好增强数据；对所述偏好增强数据进行汇总，整理为新的训练数据集，通过新的训练数据集对所述大语言模型进行微调；对微调后的大语言模型进行模型评估，基于评估结果对大语言模型进行二次调整，完成大语言模型的领域特定能力增强。本发明解决了现有大语言模型在特定领域生成文本不准确的问题。