公开(公告)号：CN118246459A

公开(公告)日：2024-06-25

申请号：CN202410369192.7

申请日：2024-03-28

Applicant: 北京应用物理与计算数学研究所

Inventor： 王昊 ,  曾思良 ,  薛振伟 ,  朱行林 ,  吴飞 ,  王宁

IPC: G06F40/35 ,  G06F16/332 ,  G06F16/335 ,  G06F40/151 ,  G06F40/205

Abstract: 本发明提供一种大语言模型垂类领域优化方法，包括：获取大语言模型针对提示文本的回答文本，提示文本包括问题文本以及与问题文本对应的知识文本，知识文本通过向量嵌入层以及专用知识向量数据库进行匹配得到；大语言模型的每次回答完成，根据回答文本、问题文本以及知识文本确定出一个多元组对，并将多元组对记录到关联数据库中；每当关联数据库中收集到T个多元组对时，根据关联数据库中的所有多元组对来对大语言模型以及向量嵌入层进行优化。本发明可以确定大语言模型在各垂类领域小样本专用知识应用的优化方向，在保证大模型通用能力的基础上，解决小样本专用知识适配性不足的问题，还可以垂类领域的大语言模型训练和垂类领域的知识扩展。