公开(公告)号：CN113344173A

公开(公告)日：2021-09-03

申请号：CN202110418695.5

申请日：2021-04-19

Applicant: 湖南大学

Inventor： 刘星宇 ,  熊伟明 ,  王涛 ,  蒋佳 ,  王易 ,  梁虹 ,  金鑫 ,  徐航

IPC: G06N3/04 ,  G06N3/08

Abstract: 一种基于逐层渐进式的高效神经网络结构设计方法。本发明的目的是解决神经网络结构搜索时间开销巨大的问题，为此采用逐层渐进式的方法实现高效的神经网络结构搜索，从单层神经网络结构开始，搜索该层的网络结构，并融合训练当前找到的所有层，接下来搜索下一层网络结构，直到达到规定层数。该方法能找到使搜索时间在普通算力可接受的范围内、模型的准确率高、推理时延短的优秀神经网络模型。

公开(公告)号：CN113344174A

公开(公告)日：2021-09-03

申请号：CN202110421335.0

申请日：2021-04-20

Applicant: 湖南大学

Inventor： 王涛 ,  周达 ,  刘星宇 ,  徐航 ,  王易 ,  李明光

IPC: G06N3/04 ,  G06N3/08

Abstract: 本申请涉及基于概率分布的高效神经网络结构搜索方法。通过神经网络结构搜索得到的神经网络结构在当前各种计算机图像任务和语言任务中都取得了非常具有竞争力的效果。如何提高搜索策略的效率，降低神经结构评估代价，以达到在更短的时间里找到更好的网络结构依然是努力的方向。本发明提供了一种概率分布式算法，大大减少了训练子网络的数量，加快了神经网络架构搜索过程，并使用边训练边搜索的参数共享模式，在降低子网络评估成本的同时，保证了表现更好的操作得到更多的训练，进一步加快了神经网络架构搜索过程。在CIFAR‑10上，我们的方法用GTX1080Ti只需要2个GPU小时，便可以搜索出一个最佳神经网络结构，在网络参数量仅为2.8M的大小下，实现了2.69％的测试错误。在ImageNet数据集上，该网络可达到76％的top1精度。