基于反事实数据增强和多视角思维链的大模型知识蒸馏方法

    公开(公告)号:CN119721182A

    公开(公告)日:2025-03-28

    申请号:CN202411594814.2

    申请日:2024-11-10

    Applicant: 浙江大学

    Inventor: 张寅 冯韬

    Abstract: 本发明公开了一种基于反事实数据增强和多视角思维链的大模型知识蒸馏方法。本发明首先利用主题词和语法分析树获取文本语义的关键特征,并用大语言模型自动的生成高质量反事实数据,然后利用多视角思维链增强反事实数据的多样性,提升小语言模型的推理能力。和现有技术相比,本发明提出的大模型反事实蒸馏框架能够增强小模型推理的鲁棒性和泛化能力,在不同架构的小语言模型和不同分布的数据集上都取得了优异的性能。

Patent Agency Ranking