公开(公告)号：CN117009490A

公开(公告)日：2023-11-07

申请号：CN202311112954.7

申请日：2023-08-31

Applicant: 之江实验室

Inventor： 黄飞 ,  战凯 ,  吴信东

IPC: G06F16/332 ,  G06F16/36 ,  G06F40/194 ,  G06F40/30 ,  G06F18/214 ,  G06N5/022

Abstract: 本发明公开了一种基于知识库反馈的生成式大语言模型的训练方法和装置，该方法利用领域知识库以及监督微调训练对大语言模型进行优化；采用基于知识库反馈的强化学习方法，利用领域知识库，构建奖励模型，对大语言模型生成的答案进行打分和反馈，构成了强化学习的流程。本发明的创新之处将知识图谱技术应用在奖励构建之中，从而可通过知识工程的自动化流程进行大语言模型微调，取代了基于人类反馈的强化学习，有利于节省大量人类反馈标注的高昂成本，基于确定性的知识推理得到领域应用的正确答案可修正生成式大语言模型捏造事实的关键缺陷，可使用在基于领域知识图谱构建行业垂直应用语言大模型的场景，适用性强。

公开(公告)号：CN117668173A

公开(公告)日：2024-03-08

申请号：CN202311367647.3

申请日：2023-10-20

Applicant: 之江实验室

Inventor： 郭蒙浩 ,  孙山鑫 ,  江金陵 ,  吴凡 ,  张琛 ,  吴信东

IPC: G06F16/332 ,  G06N20/00

Abstract: 本申请涉及一种科学文献信息抽取方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取参考科学文献，基于所述参考科学文献的属性确定信息抽取方式，基于所述参考科学文献和信息抽取方式构建信息抽取指令集，所述信息抽取指令集包括对应不同信息的信息抽取指令，基于所述信息抽取指令集标注所述参考科学文献，得到信息抽取数据集，所述信息抽取数据集包括标注信息，基于所述参考科学文献和信息抽取数据集训练初始信息抽取模型，得到目标信息抽取模型，将待处理科学文献和用户信息抽取指令输入所述目标信息抽取模型，得到目标信息抽取结果。实现了从多元异构的科学文献中抽取信息，提高了信息抽取的准确性和可扩展性。

公开(公告)号：CN116796836A

公开(公告)日：2023-09-22

申请号：CN202310856616.8

申请日：2023-07-12

Applicant: 之江实验室

Inventor： 孙泽懿 ,  张静 ,  吴信东

IPC: G06N5/02 ,  G06N3/006 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于多层奖励和分步训练的知识图谱截取方法和设备，用于根据知识图谱中选定的多个节点，得到与选定节点所属领域相关的子图，方法包括数学建模、分布训练和模型使用三部分。在数学建模过程中设计基于episode和基于step的奖励，在训练过程中首先基于有监督学习的策略网络初步训练，然后基于奖励的再训练。与现有技术相比，本发明实现从知识图谱中基于给定的若干节点来截取所属领域的子图的同时，具有模型建模准确度高、训练收敛性好等优点。