发明授权
- 专利标题: 基于空间注意力机制的自适应知识蒸馏方法
-
申请号: CN202011165181.5申请日: 2020-10-27
-
公开(公告)号: CN112464981B公开(公告)日: 2024-02-06
- 发明人: 王金桥 , 王童 , 朱优松
- 申请人: 中科视语(句容)科技有限公司
- 申请人地址: 江苏省镇江市句容市开发区科技新城科技大道1号省高创11幢
- 专利权人: 中科视语(句容)科技有限公司
- 当前专利权人: 中科视语(句容)科技有限公司
- 当前专利权人地址: 江苏省镇江市句容市开发区科技新城科技大道1号省高创11幢
- 代理机构: 南京华恒专利代理事务所
- 代理商 高春涛
- 主分类号: G06F18/214
- IPC分类号: G06F18/214 ; G06F18/24 ; G06F18/40 ; G06N3/08
摘要:
本发明公开了一种基于空间注意力机制的自适应知识蒸馏方法,属于计算机视觉和模式识别技术领域。该方法利用每个样本的分类损失值评估样本的难易程度,若分类损失值大于阈值,则该样本较难,给予该样本更多关注;若分类损失值小于阈值,则忽略该样本;然后,使用单调递增函数为每一个较难的样本赋予蒸馏权重值;将样本的蒸馏权重值映射到特征图对应的空间位置,得到和特征图大小相同的注意力图;最后在进行网络蒸馏时利用注意力图对特征图的每个位置进行加权,指导学生网络的学习过程。该方法基于空间注意力机制,能够引导学生网络关注比较困难的样本的特征学习,从而提升学生网络的性能。
公开/授权文献
- CN112464981A 基于空间注意力机制的自适应知识蒸馏方法 公开/授权日:2021-03-09