公开(公告)号：CN119539011A

公开(公告)日：2025-02-28

申请号：CN202510080881.0

申请日：2025-01-20

Applicant: 复旦大学

Inventor： 王龑 ,  张文强 ,  刘靖 ,  刘洋 ,  李奥星 ,  常扬 ,  甘中学

IPC: G06N3/082 ,  G06N3/045 ,  G06N3/042 ,  G06N5/04

Abstract: 本发明涉及自然语言处理技术领域，特别是涉及一种基于教师模型与情境推理的模型蒸馏方法及系统。通过使用多教师学习框架，使学生模型能够从多个大型教师模型中汲取知识，为学生模型提供多元化的学习路径；由于引入了上下文感知与示例生成机制，通过考虑输入数据的上下文信息和输入示例，增强了学生模型对复杂情境的理解和推理能力；推理链策略可以确保学生模型能够生成准确且有深度的推理过程，模仿教师模型的决策过程；采用参数微调技术，仅调整学生模型中的关键参数，实现对教师模型知识的高效迁移，减少学生模型在蒸馏过程中需要调整的参数数量；显著降低了模型部署和更新过程中的资源消耗，使得训练出的模型保持与模型相似的性能。