-
公开(公告)号：CN116503609A
公开(公告)日：2023-07-28
申请号：CN202310199862.0
申请日：2023-03-06
Applicant: 北京工业大学
IPC: G06V10/40 , G06V10/764 , G06V10/82 , G06N3/0495 , G06N3/096
Abstract: 本发明涉及一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法，基于深度Bregman散度的方法普遍用于横向衡量教师和学生模型的相似度，现将其扩展应用到教师或者学生网络在不同分布下的一种度量，学生和教师网络共享不同分布的参数，深入挖掘教师网络对图像分类的知识敏感度，从而实现纵向的学习。该方法首先设计一种普适的特征迁移的知识蒸馏策略，然后连接一个Bregman损失模块：在不同的深度Bregman网络中，分别提取教师和学生在不同分布下的Bregman散度矩阵，计算二者之间差异，通过反向传播，利用蒸馏损失与Bregman损失对学生网络的参数进行优化，进而提高学生网络模型的分类准确度。
Search Results
1
records
(took 0.015 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
