-
公开(公告)号:CN120010783A
公开(公告)日:2025-05-16
申请号:CN202510101745.5
申请日:2025-01-22
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于多队列的纠删码条带更新方法、装置和电子设备,该方法包括:获取原始条带中数据块的基本元数据信息;基于所述基本元数据信息,将所述数据块放入不同的预设编码队列,所述不同的预设编码队列包括高频更新编码队列、低频更新编码队列和无更新编码队列;基于不同的预设编码队列中的数据块,分别使用不同的预设生成策略生成条带。该方法可以降低纠删码条带更新对全闪集群中SSD盘的寿命损耗。
-
公开(公告)号:CN119005265A
公开(公告)日:2024-11-22
申请号:CN202411182560.3
申请日:2024-08-27
Applicant: 华中科技大学
IPC: G06N3/0495 , G06N3/042 , G06N3/08
Abstract: 本申请属于计算机存储领域,具体公开了一种面向高性能数据并行DNN训练的稀疏化压缩方法及装置,该方法包括:获取在数据并行DNN训练系统中反向传播生成的多维度梯度张量;基于多维度梯度张量的输入维度信息和输出维度信息构建矩阵,获得多维度梯度张量矩阵;使用第一稀疏化压缩方案和第二稀疏化压缩方案对多维度梯度张量矩阵进行压缩;第一稀疏化压缩方案包括:对多维度梯度张量中的每个维度内的元素进行局部排序;在每个维度中选择k/M个最大的元素并保留,同时将其余元素置零,其中k为梯度元素个数,M为维度数量;第二稀疏化压缩方案包括:在多维度梯度张量的所有元素中选择绝对值最大的k个元素并保留,同时将其余元素置零。
-