公开(公告)号：CN117494780A

公开(公告)日：2024-02-02

申请号：CN202311105587.8

申请日：2023-08-30

Applicant: 中国科学院信息工程研究所

Inventor： 孙上荃 ,  任文琦 ,  肖艳 ,  王蕊 ,  操晓春

IPC: G06N3/082 ,  G06N3/0464 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种混合学习中知识蒸馏的学生网络训练方法，其步骤包括：1)在训练数据上选取目标领域的训练样本；2)将训练样本预处理后分别输入学生网络、教师网络，获得相应的学生网络logit、教师网络logit；3)将每个学生网络logit、教师网络logit分别进行Z‑score标准化处理；4)将Z‑score标准化后的教师网络logit、学生网络logit转化为概率形式；5)任选一教师网络logit对应的概率和学生网络logit对应的概率，并计算所选两概率之间的KL散度作为损失函数，进行梯度下降优化蒸馏学生网络。本发明解决了深度学习知识蒸馏算法中教师网络和学生网络之间能力鸿沟问题。