Patent search ap:("哈尔滨工业大学(深圳)(CN)") AND inv:"冯学尚" Page 1

1.

发明公开
基于金字塔知识蒸馏框架模型压缩极限分析方法及装置审中-实审

公开(公告)号：CN115600672A

公开(公告)日：2023-01-13

申请号：CN202211319122.8

申请日：2022-10-26

Applicant: 哈尔滨工业大学(深圳)(CN)

Inventor： 庞艳华 , 陈波 , 冯学尚 , 赵阳 , 王博弋

IPC: G06N3/08 , G06N3/04

Abstract: 本发明提出一种基于金字塔知识蒸馏框架模型压缩极限分析方法，包括：构建金字塔结构的N组在线深度互学习模型；将每组在线深度互学习模型进行在线深度互学习，记录每组在线深度互学习模型中两个模型的参数量和模型性能；其中，从自下而上第2在线深度互学习模型组开始，进行在线深度互学习的同时，接受前一个在线深度互学习模型组离线知识蒸馏；提取第1模型组到第N‑1模型组所有模型的潜在表征送入自适应器生成教师重要性权重软标签对第N组在线深度互学习模型进行在线深度互学习，记录第N组模型的参数量和模型性能；根据每组在线深度互学习模型中两个模型的参数量和模型性能和第N组模型的参数量和模型性能分析出模型压缩比与精度的平衡点。

Patent Agency Ranking