公开(公告)号：CN114743041B

公开(公告)日：2023-01-03

申请号：CN202210225051.9

申请日：2022-03-09

Applicant: 中国科学院自动化研究所 ,  华为云计算技术有限公司

Inventor： 张兆翔 ,  常清 ,  彭君然

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/74 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种预训练模型抽选框架的构建方法及装置，该方法包括：选取图像数据集和自监督对比学习框架；根据图像数据集和自监督对比学习框架对构建的超网预训练模型进行训练，得到训练好的超网预训练模型；选取下游迁移任务和下游迁移数据集；在基于自监督对比学习框架获取的采样空间中筛选符合预设条件的第一模型，基于下游迁移任务和下游迁移数据集计算第一模型与训练好的超网预训练模型的相似度；基于相似度的计算结果，确定与训练好的超网预训练模型共享权重的目标预训练模型，得到预训练模型抽选框架。该方法可以实现高效的下游任务定制化抽取，抽取出的模型具有极佳的泛化能力。

公开(公告)号：CN117688984A

公开(公告)日：2024-03-12

申请号：CN202211026784.6

申请日：2022-08-25

Applicant: 华为云计算技术有限公司

Inventor： 田奇 ,  尹浩然 ,  彭君然 ,  谢凌曦 ,  张兆翔

IPC: G06N3/0464 ,  G06N3/084 ,  G06F16/903

Abstract: 本申请涉及人工智能领域，尤其涉及一种神经网络结构搜索方法、装置及存储介质。该方法包括：获取目标约束条件，目标约束条件指示目标实例为运行神经网络模型所限定的模型规模；根据搜索空间获取预先训练完成的多个第一神经网络模型，搜索空间指示多个模型规模与多个第一神经网络模型之间的对应关系，多个第一神经网络模型各自的模型结构参数是不同的，模型结构参数指示第一神经网络模型的至少两个神经网络结构之间的比例；在多个第一神经网络模型中筛选出符合目标约束条件的目标神经网络模型。本申请实施例提供的方案可以在限定模型规模的目标约束条件下自动搜索到理想的混合神经网络结构，提高了神经网络结构搜索的效果。