公开(公告)号：CN119377261A

公开(公告)日：2025-01-28

申请号：CN202411444741.9

申请日：2024-10-16

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  徐冰 ,  朱聪慧 ,  杨沐昀 ,  曹海龙 ,  智和露 ,  钟俊深 ,  夏赫绅

IPC: G06F16/2453 ,  G06F16/2455 ,  G06F16/2457

Abstract: 本发明属于计算机技术领域，具体涉及一种基于外部检索提高大语言模型在财务查询问题上准确率的方法及其系统。步骤1：对财务问题进行总结；步骤2：基于步骤1财务查询问题的总结对大语言模型进行训练；步骤3：对财务问题的复杂度进行判断；步骤4：基于步骤3的判断进行计算公式的分解，分解成多个子公式；步骤5：对步骤4分解成的子公式利用步骤2训练好的大语言模型，得到各个子公式的最终答案；步骤6：将步骤5的求和结果按照分解时的计算公式进行结果求和，让大语言模型自动求解，实现提高大语言模型在财务查询问题上准确率。本发明用以解决大语言模型需要进行大量计算的问题。

公开(公告)号：CN119067236A

公开(公告)日：2024-12-03

申请号：CN202411165771.6

申请日：2024-08-23

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  曹海龙 ,  徐冰 ,  杨沐昀 ,  朱聪慧 ,  智和露 ,  钟俊深

IPC: G06N20/00 ,  G06F40/284

Abstract: 一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统，属于自然语言处理技术领域，解决大模型微调后的灾难性遗忘问题。方法包括：S1：根据需要解决的专业领域问题构造训练数据模板；S2：根据所述训练数据模板获得若干训练数据；S3：混合训练数据与待微调模型的开源数据，并调整训练数据与开源数据的混合比例，获得最优混合比例；S4：根据所述最优混合比例对待微调模型进行微调，得到最终的大语言模型。本发明所述的方法可以应用在对解决部分专业领域问题有所需要，同时又希望满足大模型正常问答能力的情景。