公开(公告)号：CN117521758A

公开(公告)日：2024-02-06

申请号：CN202311472001.1

申请日：2023-11-07

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张雷 ,  郑侠武 ,  晁飞

IPC: G06N3/08 ,  G06N3/084 ,  G06F18/243

Abstract: 一种基于混合性能估计的网络结构搜索方法，涉及神经架构搜索。将不同的性能评估方法重新考虑为不同的二分类器，其中最优的架构作为正例，其余架构归为负例。提出使用最小保持率MKR替代指标Kendall’sτ来明确地评估PE策略。提出使用混合性能评估策略，结合不同性能估计策略的优势，高效定位最优网络结构。将NAS建模为逐渐缩减搜索空间的过程，对给定的搜索空间先通过代价低的性能评估策略进行快速评估结构，将整个搜索空间缩减为一个小区域，再在剩下的小区域内用代价稍高但更准确的性能估计策略进一步缩减空间；如此逐步改变性能评估策略并缩减空间，最终得到最优的网络结构。在搜索速度和搜索结果上都具有显著优势。

公开(公告)号：CN114926319A

公开(公告)日：2022-08-19

申请号：CN202210673432.3

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周勤勤 ,  盛柯恺 ,  郑侠武 ,  李珂

IPC: G06T1/20 ,  G06N3/08 ,  G06N3/04

Abstract: 一种无训练Transformer结构搜索方法，涉及计算机视觉。在给定的ViT搜索空间中随机采样子模型结构作为基础结构集合，并对采样到的基础结构集合中的MSA和MLP模块进行模块化分析；依据MSA突触多样性评分和MLP突触显著性评分，计算基础结构集合中的各ViT模型结构的绩效指标TF‑indicator；将绩效指标TF‑indicator作为评估相应的ViT模型的代理分数，选取代理分数最高的模型结构交叉和变异，得新的子模型结构更新基础结构集合；循环迭代，选取基础结构集合代理分数最高的模型结构作为最终搜索结果。平衡搜索效率和搜索结果，提高TAS搜索效率，寻找相对最优ViT结构只需0.5个GPU天。

公开(公告)号：CN110674326A

公开(公告)日：2020-01-10

申请号：CN201910722978.1

申请日：2019-08-06

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  郑侠武

IPC: G06F16/53 ,  G06F16/583 ,  G06F16/55 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于多项式分布学习的神经网络结构检索方法，涉及神经架构搜索。1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；2)在搜索空间中，对可能的网络结构进行采样；3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；4)记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；5)计算出操作之间采样次数的差分以及精度之间的差分；6)用步骤5)中计算好的差分，对步骤2)中定义的概率进行更新；7)循环步骤3)～6)直至达到固定的训练次数。适用于比较大的数据集，高效而又准确。