-
公开(公告)号:CN114697673B
公开(公告)日:2023-06-27
申请号:CN202011607729.7
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/42 , H04N19/13 , H04N19/124 , G06N3/082
Abstract: 本发明提出一种基于流间数据混洗的神经网络量化压缩方法及系统,包括获取经过量化处理后待压缩的神经网络数据,对该神经网络数据进行分块,得到多个数据块;对每一个该数据块分配一个数据流进行压缩,且数据流随机选择输入缓存或根据预设规则选择输入缓存,得到该数据块的压缩结果;集合各数据块的压缩结果,作为该神经网络数据的压缩结果;本发明避免了连续从同一个输入缓存读取数据,增加了单个数据流的输入随机性,进一步平衡各数据流的编码速率,从而提高硬件资源的利用效率。
-
公开(公告)号:CN114697673A
公开(公告)日:2022-07-01
申请号:CN202011607729.7
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/42 , H04N19/13 , H04N19/124 , G06N3/08
Abstract: 本发明提出一种基于流间数据混洗的神经网络量化压缩方法及系统,包括获取经过量化处理后待压缩的神经网络数据,对该神经网络数据进行分块,得到多个数据块;对每一个该数据块分配一个数据流进行压缩,且数据流随机选择输入缓存或根据预设规则选择输入缓存,得到该数据块的压缩结果;集合各数据块的压缩结果,作为该神经网络数据的压缩结果;本发明避免了连续从同一个输入缓存读取数据,增加了单个数据流的输入随机性,进一步平衡各数据流的编码速率,从而提高硬件资源的利用效率。
-
公开(公告)号:CN114697672A
公开(公告)日:2022-07-01
申请号:CN202011607727.8
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/42 , H04N19/13 , H04N19/124 , H04N19/122 , G06N3/08
Abstract: 本发明提出一种游程全零编码的神经网络量化压缩方法和系统,包括:对神经网络数据中的零数据进行游程编码,得到第一中间数据;将第一中间数据的游程为3的编码片段替换为ZeroLiteral字符,得到第二中间数据;判断第二中间数据中与ZeroLiteral字符相同的字符是否为神经网络数据中的原字符,若是,则将第二中间数据中与ZeroLiteral字符相同的字符替换为ZeroExtra字符,同时在其后增加表示其为原字符的标志位,否则将第二中间数据中与ZeroLiteral字符相同的字符替换为ZeroExtra字符,同时在其后增加表示其为替换字符的标志位。本发明提出了游程全零编码,可以高效的无损压缩神经网络数据且游程全零编码包括二阶字符替换,减少了数据中0出现的数量,为后续哈夫曼编码留出了更多的压缩空间。
-
公开(公告)号:CN114697654B
公开(公告)日:2023-06-30
申请号:CN202011607739.0
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/122 , H04N19/124 , H04N19/13 , H04N19/42 , G06N3/082
Abstract: 本发明提出一种神经网络量化压缩方法,包括:获取经过量化处理后待压缩的神经网络数据,对该神经网络数据进行游程全零编码,得到游程压缩数据,其中该游程全零编码包括仅对该神经网络数据中的零字符进行游程编码;对该游程压缩数据进行规范化哈夫曼编码,并对编码结果进行重整,得到规范哈夫曼编码,作为该神经网络数据的压缩结果。本发明针对量化后神经网络数据具有稀疏性的特点,本发明对游程编码进行了改进提出了游程全零编码,可以更高效的无损压缩神经网络数据;对哈夫曼树自上而下地进行重整,省去存储完整的哈夫曼树结构,显著降低了查表操作的复杂程度。
-
公开(公告)号:CN114697672B
公开(公告)日:2023-06-27
申请号:CN202011607727.8
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/42 , H04N19/13 , H04N19/124 , H04N19/122 , G06N3/08
Abstract: 本发明提出一种游程全零编码的神经网络量化压缩方法和系统,包括:对神经网络数据中的零数据进行游程编码,得到第一中间数据;将第一中间数据的游程为3的编码片段替换为ZeroLiteral字符,得到第二中间数据;判断第二中间数据中与ZeroLiteral字符相同的字符是否为神经网络数据中的原字符,若是,则将第二中间数据中与ZeroLiteral字符相同的字符替换为ZeroExtra字符,同时在其后增加表示其为原字符的标志位,否则将第二中间数据中与ZeroLiteral字符相同的字符替换为ZeroExtra字符,同时在其后增加表示其为替换字符的标志位。本发明提出了游程全零编码,可以高效的无损压缩神经网络数据且游程全零编码包括二阶字符替换,减少了数据中0出现的数量,为后续哈夫曼编码留出了更多的压缩空间。
-
公开(公告)号:CN114697655B
公开(公告)日:2023-04-11
申请号:CN202011611154.6
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/122 , H04N19/124 , H04N19/13 , H04N19/42 , G06N3/082
Abstract: 本发明提出一种基于均衡流间压缩速度的神经网络量化压缩方法,包括:步骤1、获取经过量化处理后待压缩的神经网络数据,对神经网络数据进行分块,得到多个数据块;步骤2、对每一个数据块分配一个数据流进行压缩,每条数据流的压缩包括:对数据块进行游程全零编码,得到游程压缩数据,其中游程全零编码仅对神经网络数据中的零字符进行游程编码,对游程压缩数据进行规范化哈夫曼编码,并对编码结果进行重整,得到规范哈夫曼编码,作为数据块的压缩结果;步骤2包括:步骤21、监测各数据流已经压缩编码的数据量,向当前编码速度快的数据流的输出缓存写入虚字符对应的虚编码。均衡流间压缩速度,缩小流水线之间的编码差距,进而避免产生死锁。
-
公开(公告)号:CN114697654A
公开(公告)日:2022-07-01
申请号:CN202011607739.0
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/122 , H04N19/124 , H04N19/13 , H04N19/42 , G06N3/08
Abstract: 本发明提出一种神经网络量化压缩方法,包括:获取经过量化处理后待压缩的神经网络数据,对该神经网络数据进行游程全零编码,得到游程压缩数据,其中该游程全零编码包括仅对该神经网络数据中的零字符进行游程编码;对该游程压缩数据进行规范化哈夫曼编码,并对编码结果进行重整,得到规范哈夫曼编码,作为该神经网络数据的压缩结果。本发明针对量化后神经网络数据具有稀疏性的特点,本发明对游程编码进行了改进提出了游程全零编码,可以更高效的无损压缩神经网络数据;对哈夫曼树自上而下地进行重整,省去存储完整的哈夫曼树结构,显著降低了查表操作的复杂程度。
-
公开(公告)号:CN114697655A
公开(公告)日:2022-07-01
申请号:CN202011611154.6
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/122 , H04N19/124 , H04N19/13 , H04N19/42 , G06N3/08
Abstract: 本发明提出一种基于均衡流间压缩速度的神经网络量化压缩方法,包括:步骤1、获取经过量化处理后待压缩的神经网络数据,对神经网络数据进行分块,得到多个数据块;步骤2、对每一个数据块分配一个数据流进行压缩,每条数据流的压缩包括:对数据块进行游程全零编码,得到游程压缩数据,其中游程全零编码仅对神经网络数据中的零字符进行游程编码,对游程压缩数据进行规范化哈夫曼编码,并对编码结果进行重整,得到规范哈夫曼编码,作为数据块的压缩结果;步骤2包括:步骤21、监测各数据流已经压缩编码的数据量,向当前编码速度快的数据流的输出缓存写入虚字符对应的虚编码。均衡流间压缩速度,缩小流水线之间的编码差距,进而避免产生死锁。
-
-
-
-
-
-
-