Patent search ap:("厦门大学") AND inv:"盛柯恺" Page 1

1.

发明公开
一种无训练Transformer结构搜索方法无效

公开(公告)号：CN114926319A

公开(公告)日：2022-08-19

申请号：CN202210673432.3

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 , 周勤勤 , 盛柯恺 , 郑侠武 , 李珂

IPC: G06T1/20 , G06N3/08 , G06N3/04

Abstract: 一种无训练Transformer结构搜索方法，涉及计算机视觉。在给定的ViT搜索空间中随机采样子模型结构作为基础结构集合，并对采样到的基础结构集合中的MSA和MLP模块进行模块化分析；依据MSA突触多样性评分和MLP突触显著性评分，计算基础结构集合中的各ViT模型结构的绩效指标TF‑indicator；将绩效指标TF‑indicator作为评估相应的ViT模型的代理分数，选取代理分数最高的模型结构交叉和变异，得新的子模型结构更新基础结构集合；循环迭代，选取基础结构集合代理分数最高的模型结构作为最终搜索结果。平衡搜索效率和搜索结果，提高TAS搜索效率，寻找相对最优ViT结构只需0.5个GPU天。

Patent Agency Ranking