公开(公告)号：CN118761439A

公开(公告)日：2024-10-11

申请号：CN202410679289.8

申请日：2024-05-29

Applicant: 湖南大学

Inventor： 王涛 ,  翟景治 ,  罗浩明 ,  刘星宇 ,  文威

IPC: G06N3/042 ,  G06N3/082 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于知识蒸馏的网络结构构建方法及装置，涉及网络结构构建技术领域。本发明至少包括以下步骤：步骤一：设计一个基于Token选择的视觉transformer模型；步骤二：设计并训练一个Token选择网络；步骤三：设计一个Token选择的视觉transformer模型名为TS‑ViT；步骤四：设计损失函数TS‑ViT的损失函数；步骤五：在特定数据集上进行图像分类训练与测试，通过与Token选择网络配合使用的优化后模型进行，以减少计算量并保持或提升图像分类精度。本发明为了解决token裁剪策略不具有泛化的特性限制并扩展适用场景，进而基于知识蒸馏的Token选择网络，该网络非常轻量，且不依赖于任何的网络模型结构，训练后即插即用，以较小的精度损失大量减少计算量。

公开(公告)号：CN113344173A

公开(公告)日：2021-09-03

申请号：CN202110418695.5

申请日：2021-04-19

Applicant: 湖南大学

Inventor： 刘星宇 ,  熊伟明 ,  王涛 ,  蒋佳 ,  王易 ,  梁虹 ,  金鑫 ,  徐航

IPC: G06N3/04 ,  G06N3/08

Abstract: 一种基于逐层渐进式的高效神经网络结构设计方法。本发明的目的是解决神经网络结构搜索时间开销巨大的问题，为此采用逐层渐进式的方法实现高效的神经网络结构搜索，从单层神经网络结构开始，搜索该层的网络结构，并融合训练当前找到的所有层，接下来搜索下一层网络结构，直到达到规定层数。该方法能找到使搜索时间在普通算力可接受的范围内、模型的准确率高、推理时延短的优秀神经网络模型。

公开(公告)号：CN113344174A

公开(公告)日：2021-09-03

申请号：CN202110421335.0

申请日：2021-04-20

Applicant: 湖南大学

Inventor： 王涛 ,  周达 ,  刘星宇 ,  徐航 ,  王易 ,  李明光

IPC: G06N3/04 ,  G06N3/08

Abstract: 本申请涉及基于概率分布的高效神经网络结构搜索方法。通过神经网络结构搜索得到的神经网络结构在当前各种计算机图像任务和语言任务中都取得了非常具有竞争力的效果。如何提高搜索策略的效率，降低神经结构评估代价，以达到在更短的时间里找到更好的网络结构依然是努力的方向。本发明提供了一种概率分布式算法，大大减少了训练子网络的数量，加快了神经网络架构搜索过程，并使用边训练边搜索的参数共享模式，在降低子网络评估成本的同时，保证了表现更好的操作得到更多的训练，进一步加快了神经网络架构搜索过程。在CIFAR‑10上，我们的方法用GTX1080Ti只需要2个GPU小时，便可以搜索出一个最佳神经网络结构，在网络参数量仅为2.8M的大小下，实现了2.69％的测试错误。在ImageNet数据集上，该网络可达到76％的top1精度。