一种基于知识蒸馏的多跨域少样本分类方法
摘要:
一种基于知识蒸馏的多跨域少样本分类方法,利用知识蒸馏中师生网络的框架进行有效知识的迁移,从而使模型具有更好的泛化能力。本发明将元学习的训练策略引入知识蒸馏中,通过面向任务的知识蒸馏和多个教师网络之间的协作,不仅向学生网络提供了丰富且有效的知识,而且保证了学生网络对少样本任务的快速适应能力。通过引入多层次知识蒸馏,分别提取教师网络的输出预测和样本关系作为监督信息,从不同角度指导学生网络的训练,使得知识蒸馏的效率更高。由此,本发明能够将有效的知识更好地从多个源域迁移到目标域上,提高学生网络在目标少样本任务上的分类准确率。
公开/授权文献
0/0