公开(公告)号：CN117195951B

公开(公告)日：2024-04-16

申请号：CN202311232774.2

申请日：2023-09-22

Applicant: 东南大学

Inventor： 耿新 ,  时博宇 ,  杨旭

IPC: G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/086 ,  G06N3/084 ,  G06V10/774 ,  G06V10/778 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明提供一种基于架构搜索和自知识蒸馏的学习基因继承方法，为后代网络搭建超网络；随机选取增强后的数据输入超网络和祖先网络；计算超网络与祖先网络特征图的差异来更新超网络的参数；从超网络中搜索相似度最高的后代网络架构。随机选取少量下游任务样本增强后输入后代网络，输出样本类别预测概率；输出后代网络中继承学习基因的层和未继承学习基因的层的特征图的相似度来蒸馏学习基因；利用分类和相似度损失更新后代网络。本发明方法即使在噪声数据上也具有优秀的分类性能；和随机初始化方法相比，在达到相似的分类精度时，需要更少的分类数据；在少数精细标注的数据条件下，本发明方法能快速训练自动生成的后代网络使其具有较高的分类性能。

公开(公告)号：CN117195951A

公开(公告)日：2023-12-08

申请号：CN202311232774.2

申请日：2023-09-22

Applicant: 东南大学

Inventor： 耿新 ,  时博宇 ,  杨旭

IPC: G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/086 ,  G06N3/084 ,  G06V10/774 ,  G06V10/778 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明提供一种基于架构搜索和自知识蒸馏的学习基因继承方法，为后代网络搭建超网络；随机选取增强后的数据输入超网络和祖先网络；计算超网络与祖先网络特征图的差异来更新超网络的参数；从超网络中搜索相似度最高的后代网络架构。随机选取少量下游任务样本增强后输入后代网络，输出样本类别预测概率；输出后代网络中继承学习基因的层和未继承学习基因的层的特征图的相似度来蒸馏学习基因；利用分类和相似度损失更新后代网络。本发明方法即使在噪声数据上也具有优秀的分类性能；和随机初始化方法相比，在达到相似的分类精度时，需要更少的分类数据；在少数精细标注的数据条件下，本发明方法能快速训练自动生成的后代网络使其具有较高的分类性能。