一种基于自监督学习的神经网络编码方法及编码器

    公开(公告)号:CN114298290A

    公开(公告)日:2022-04-08

    申请号:CN202111490317.4

    申请日:2021-12-08

    Inventor: 张旭 杨莹 夏英

    Abstract: 本发明涉及深度学习领域,特别涉及一种基于自监督学习的神经网络编码方法及编码器,方法包括将搜索空间中的神经网络的结构用其邻接矩阵和操作矩阵进行表示,将结构的邻接矩阵进行同构图的数据增强;从增强后的;从搜索空间中随机采样N个样本,对每个样本分别进行两次数据增强后产生2N个数据点;将增强后的数据分为正样本和负样本并用于预训练编码器;使用NT‑Xent损失函数对神经网络基编码器进行训练,并将训练好的编码器后面接上MLP获得性能预测器;利用损失函数对获得性能预测器进行微调;本发明在不使用标签的情况下使得编码器学到了更丰富的特征,从而只需使用少量的带标签数据进行微调就能取得良好的预测效果。

Patent Agency Ranking