面向高性能数据并行DNN训练的稀疏化压缩方法及装置

    公开(公告)号:CN119005265A

    公开(公告)日:2024-11-22

    申请号:CN202411182560.3

    申请日:2024-08-27

    Abstract: 本申请属于计算机存储领域,具体公开了一种面向高性能数据并行DNN训练的稀疏化压缩方法及装置,该方法包括:获取在数据并行DNN训练系统中反向传播生成的多维度梯度张量;基于多维度梯度张量的输入维度信息和输出维度信息构建矩阵,获得多维度梯度张量矩阵;使用第一稀疏化压缩方案和第二稀疏化压缩方案对多维度梯度张量矩阵进行压缩;第一稀疏化压缩方案包括:对多维度梯度张量中的每个维度内的元素进行局部排序;在每个维度中选择k/M个最大的元素并保留,同时将其余元素置零,其中k为梯度元素个数,M为维度数量;第二稀疏化压缩方案包括:在多维度梯度张量的所有元素中选择绝对值最大的k个元素并保留,同时将其余元素置零。

Patent Agency Ranking