发明授权
- 专利标题: 一种基于知识蒸馏的多跨域少样本分类方法
-
申请号: CN202110931565.1申请日: 2021-08-13
-
公开(公告)号: CN113610173B公开(公告)日: 2022-10-04
- 发明人: 冀中 , 倪婧玮 , 刘西瑶
- 申请人: 天津大学
- 申请人地址: 天津市南开区卫津路92号
- 专利权人: 天津大学
- 当前专利权人: 天津大学
- 当前专利权人地址: 天津市南开区卫津路92号
- 代理机构: 天津市北洋有限责任专利代理事务所
- 代理商 杜文茹
- 主分类号: G06V10/764
- IPC分类号: G06V10/764 ; G06V10/82 ; G06N3/04 ; G06N3/08
摘要:
一种基于知识蒸馏的多跨域少样本分类方法,利用知识蒸馏中师生网络的框架进行有效知识的迁移,从而使模型具有更好的泛化能力。本发明将元学习的训练策略引入知识蒸馏中,通过面向任务的知识蒸馏和多个教师网络之间的协作,不仅向学生网络提供了丰富且有效的知识,而且保证了学生网络对少样本任务的快速适应能力。通过引入多层次知识蒸馏,分别提取教师网络的输出预测和样本关系作为监督信息,从不同角度指导学生网络的训练,使得知识蒸馏的效率更高。由此,本发明能够将有效的知识更好地从多个源域迁移到目标域上,提高学生网络在目标少样本任务上的分类准确率。
公开/授权文献
- CN113610173A 一种基于知识蒸馏的多跨域少样本分类方法 公开/授权日:2021-11-05