-
公开(公告)号：CN109325530B
公开(公告)日：2021-05-04
申请号：CN201811046300.8
申请日：2018-09-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度神经网络技术领域，具体涉及一种基于少量无标签数据的深度卷积神经网络的压缩方法，旨在解决在已有全精度网络模型基础上，对深度卷积神经网络所有层进行压缩，且不进行基于原始有标注训练数据进行再训练时，性能损失较大的问题，包括：获取原始深度卷积神经网络；对原始深度卷积神经网络中各层的权值张量进行稀疏化操作，得到多个含有较多0元素的权值张量；在已压缩的权值张量基础之上，通过少量无标注数据对压缩后的深度卷积神经网络中的批数据归一化层中的统计量进行更新，获得新的深度卷积神经网络。通过本发明实施例，实现了在仅依赖于少量无标注数据的大型深度卷积神经网络的压缩，降低了性能损失。
-
公开(公告)号：CN109325530A
公开(公告)日：2019-02-12
申请号：CN201811046300.8
申请日：2018-09-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度神经网络技术领域，具体涉及一种基于少量无标签数据的深度卷积神经网络的压缩方法，旨在解决在已有全精度网络模型基础上，对深度卷积神经网络所有层进行压缩，且不进行基于原始有标注训练数据进行再训练时，性能损失较大的问题，包括：获取原始深度卷积神经网络；对原始深度卷积神经网络中各层的权值张量进行稀疏化操作，得到多个含有较多0元素的权值张量；在已压缩的权值张量基础之上，通过少量无标注数据对压缩后的深度卷积神经网络中的批数据归一化层中的统计量进行更新，获得新的深度卷积神经网络。通过本发明实施例，实现了在仅依赖于少量无标注数据的大型深度卷积神经网络的压缩，降低了性能损失。
-
公开(公告)号：CN107480770A
公开(公告)日：2017-12-15
申请号：CN201710624244.0
申请日：2017-07-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及神经网络技术领域，具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量，并基于预先设定的量化位宽，对权值张量和输入特征张量进行定点量化，并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量，得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽，无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩，减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置，具有上述有益效果。
-
公开(公告)号：CN107480770B
公开(公告)日：2020-07-28
申请号：CN201710624244.0
申请日：2017-07-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及神经网络技术领域，具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量，并基于预先设定的量化位宽，对权值张量和输入特征张量进行定点量化，并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量，得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽，无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩，减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置，具有上述有益效果。
-
-
-
Search Results
4
records
(took 0.022 seconds)
