一种基于结构感知及逐步蒸馏的多跳常识生成方法

    公开(公告)号:CN118964942A

    公开(公告)日:2024-11-15

    申请号:CN202411059019.3

    申请日:2024-08-02

    Applicant: 东南大学

    Abstract: 本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法,具体如下:首先通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系。此外,基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,接着,将上述依据作为额外的信息来源,进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子,生成正确性较高的假设原子,还能够输出有助于其理解多跳常识推导过程的依据,从而提升多跳常识生成效果。最后,通过大语言模型构建了多跳常识数据集,具有较高的整体性能,生成更为复杂且流畅的假设原子,并维持了较高的正确性与多样性。

Patent Agency Ranking