公开(公告)号：CN119886228A

公开(公告)日：2025-04-25

申请号：CN202510370364.7

申请日：2025-03-27

Applicant: 南京信息工程大学

Inventor： 林妍 ,  薛羽 ,  于小兵 ,  杨强 ,  申晓宁 ,  金婷 ,  王修来

IPC: G06N3/0475 ,  G06N3/094 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明提供了一种基于架构蒸馏技术的生成对抗网络架构搜索方法和系统，所述方法定义一个搜索空间，构建融合了所有候选操作的超网，对超网进行预热训练，经过初始的预热训练后，评估子网的性能，筛选出对网络性能不利的操作并丢弃。在超网的训练过程中，通过架构知识蒸馏方法进行网络权重优化，设计匹配优化网络以有效地选择教师网络，使教师网络与学生子网达到最优匹配，通过架构蒸馏技术将教师网络的知识传递给其他子网，以指导超网训练。使用多目标优化策略挑选出超网中表现最佳的网络架构。本发明通过架构间的知识传递，提升子网的训练效果，相比传统的搜索方法具有更高的效率和更好的性能，能够更快地找到适合任务的最优神经网络架构。