基于空间注意力机制的自适应知识蒸馏方法
摘要:
本发明公开了一种基于空间注意力机制的自适应知识蒸馏方法,属于计算机视觉和模式识别技术领域。该方法利用每个样本的分类损失值评估样本的难易程度,若分类损失值大于阈值,则该样本较难,给予该样本更多关注;若分类损失值小于阈值,则忽略该样本;然后,使用单调递增函数为每一个较难的样本赋予蒸馏权重值;将样本的蒸馏权重值映射到特征图对应的空间位置,得到和特征图大小相同的注意力图;最后在进行网络蒸馏时利用注意力图对特征图的每个位置进行加权,指导学生网络的学习过程。该方法基于空间注意力机制,能够引导学生网络关注比较困难的样本的特征学习,从而提升学生网络的性能。
公开/授权文献
0/0