-
公开(公告)号：CN109271353A
公开(公告)日：2019-01-25
申请号：CN201811039023.8
申请日：2018-09-06
Applicant: 华中科技大学
IPC: G06F16/174
Abstract: 本发明公开了一种在数据去重过程中选择性重写自引用块的方法及系统，包括：获取数据去重过程中的重复块和上次备份的容器总数；判断重复块所在容器ID是否超过上次备份的容器总数，若是，则重复块是自引用块，否则，重复块不是自引用块；创建用于模拟恢复缓存的缓冲区，查找自引用块所在容器ID是否存在于所述缓冲区中，若是，自引用块不是内部碎片块，否则，自引用块是内部碎片块；根据内部碎片块所在容器的利用率是否低于预设阈值，若是，所述内部碎片块将被重写到容器，否则，所述自引用块无需被重写到容器。本发明通过模拟恢复缓存来识别内部碎片块，选择性重写部分内部碎片块来限制重写数量，使得容器利用率增加，恢复性能得到显著提高。
-
公开(公告)号：CN120011132A
公开(公告)日：2025-05-16
申请号：CN202510206377.0
申请日：2025-02-25
Applicant: 华中科技大学
Abstract: 本申请属于计算机存储技术领域，具体公开了一种piggyback编码的单块修复跨机架流量优化方法，包括：基于piggyback编码结果中的各个数据块，构建目标图，目标图中的顶点代表数据块，边的权值为两个数据块之间的耦合度；针对各个耦合度，执行图连通算法，获取各个耦合度对应的一组连通分量；按照机架数量，对每一组连通分量进行调整，获取对应的均匀分组，均匀分组中数据块集合的数量等于机架数量，均匀分组中不同数据块集合之间的数据块数量差异小于预设阈值；在多个均匀分组中，选取跨机架流量开销最小的一项作为目标分组。通过本申请，实现针对piggyback编码的单块修复，优化跨机架流量，提高修复性能。
-
公开(公告)号：CN118842552A
公开(公告)日：2024-10-25
申请号：CN202410799195.4
申请日：2024-06-20
Applicant: 华中科技大学
Abstract: 本申请属于计算机分布式计算领域，具体公开了一种面向编码分布式计算的大条带编码计算任务分配方法，包括：基于当前次执行分布式编码所采用的计算任务分配参数，将多个原始计算任务组分配给各个编码节点，形成各个编码节点的子计算任务；基于各个编码节点反馈的编码时长，以负载均衡方式确定下一次执行分布式编码所采用的计算任务分配参数。通过在每一次执行分布式编码的过程中，获取各个编码节点的编码时长，编码时长能够反映节点的算力，可以基于各个编码节点反馈的编码时长，以负载均衡方式确定下一次执行分布式编码所采用的计算任务分配参数，随着执行分布式编码的次数增加，多个编码节点能够趋于更加均衡的状态，能够有效地提升编码效率。
-
公开(公告)号：CN118656378A
公开(公告)日：2024-09-17
申请号：CN202410861730.4
申请日：2024-06-28
Applicant: 华中科技大学
IPC: G06F16/23 , G06F16/22 , G06F16/2455
Abstract: 本申请属于计算机存储领域，具体公开了一种纠删码条带数据更新方法、装置、电子设备及介质，该方法包括：接收客户端发来的多个携带有目标数据信息的数据更新请求，并将各个数据更新请求存储至预设存储单元中；当预设存储单元中存储的更新数据的总容量达到预设阈值时，根据各个数据更新请求携带的数据块编号，从预设存储单元中获取数据块编号同属一个纠删码条带的所有目标数据更新请求；基于各个目标数据更新请求携带的数据块的更新数据和更新地址，对纠删码条带进行数据更新。通过本申请，可以有效减少纠删码条带更新对存储设备的访问，降低纠删码条带更新的开销，提高系统数据更新的吞吐量。
-
公开(公告)号：CN118585192A
公开(公告)日：2024-09-03
申请号：CN202410729986.X
申请日：2024-06-06
Applicant: 华中科技大学
Abstract: 本申请属于计算机分布式计算领域，具体公开了一种面向随机分布输入数据的MapReduce的编码计算方法和系统。通过本申请，将MapReduce计算任务的数据混洗过程建模为图，将求解数据混洗过程最优工作节点合并转化为求解对应图的最优平衡图分割问题，根据图分割结果确定节点合并方案后，针对节点合并方案，进行编码分布式计算，在低网络开销下完成数据混洗。本申请通过在随机分布输入数据的MapReduce大数据处理系统上使用基于节点合并的编码分布式计算，来降低系统数据混洗过程中的传输开销。
-
Patent Agency Ranking
公开(公告)号：CN118466859A
公开(公告)日：2024-08-09
申请号：CN202410924980.8
申请日：2024-07-11
Applicant: 浪潮电子信息产业股份有限公司 , 华中科技大学
Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质，涉及存储领域，为解决采用多层耦合码修复速度慢的问题，该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块，并将各个数据块和各个校验块均划分为若干个子块后进行编码，得到每一子块的原始编码；获取格雷码序列，按格雷码序列及原始编码调整各个子块的排列顺序，按照调整后的排列顺序将各个子块写入对应的存储节点；当满足单块数据修复条件时，通过多层耦合码确定故障块，从存储节点中读取故障块对应的待访问子块，通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问，从而减少修复访问数量，提高修复效率。
-
公开(公告)号：CN116737073A
公开(公告)日：2023-09-12
申请号：CN202310609253.8
申请日：2023-05-26
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明提供一种散列表的操作管理方法、系统及电子设备，包括：确定非易失内存的散列表；判断散列表容量是否达到预设阈值，若达到预设阈值，则采用基于上下文感知的多线程协同扩容方式对散列表进行扩容，得到新的散列表，并释放原始散列表的空间；多线程为多个线程协同迁移原散列表中的主桶链，将其迁移到分配的新散列表空间内；新散列表的容量大于原散列表的容量，在扩容过程中阻塞扩容所需线程之外的插入线程和删除线程，并在扩容过程中允许读线程并发执行；在多个线程协同扩容过程中，若某个线程完成迁移，则将其迁移的所有主桶链数据持久化到非易失内存中。本发明降低了散列表的读延迟，且提高了散列表的并行性能，提升了散列表的整体性能。
-
公开(公告)号：CN115237665A
公开(公告)日：2022-10-25
申请号：CN202210893252.6
申请日：2022-07-27
Applicant: 华中科技大学 , 济南浪潮数据技术有限公司 , 浪潮电子信息产业股份有限公司
Abstract: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统，属于计算机存储领域。包括：根据故障磁盘确定需要修复的所有条带；从正常磁盘中读取需要修复条带的所有幸存块；计算各幸存块从磁盘被读入内存所需要的时间；构建所有可能的[a,b]组合；根据各幸存块从磁盘被读入内存所需要的时间，计算各个[a,b]组合下磁盘修复时间T；采用磁盘修复时间最小对应的[a,b]组合，进行故障磁盘的修复；a表示条带内并行度，b表示条带间并行度，且a*b＝内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况，选择合理的条带内并行度和条带间并行度，使得磁盘修复时间得以最小化，从而尽可能快地修复出丢失数据，提升修复性能与系统的可靠性。
-
公开(公告)号：CN112835738B
公开(公告)日：2022-05-20
申请号：CN202110193270.9
申请日：2021-02-20
Applicant: 华中科技大学
Abstract: 本发明提供了一种条带数据存储结构的构建方法，属于计算机的可靠数据存储领域，条带数据存储结构为：条带为(n，k，r，z)，包括局部组和全局组；全局组包括一个机架，用于存储全局校验块；每个局部组中包含个机架，每个机架中设置有不同的存储节点；不同存储节点处存储数据块或局部校验块，且每个机架中的数据块和局部校验块总数为c；其中，每个局部组存储有一个局部校验块和r个数据块；每个机架中的存储节点大于等于c；基于机架容错属性，c小于等于大条带的节点容错能力f；全局校验块的个数为f‑1；z为总机架数目。本发明支持n和k量级为百级的同时确保修复开销和存储开销较低的状态。
-
公开(公告)号：CN114138526A
公开(公告)日：2022-03-04
申请号：CN202111320055.7
申请日：2021-11-09
Applicant: 华中科技大学
Abstract: 本发明提供了一种面向内存键值纠删码的混合数据更新方法及存储系统，属于计算机的可靠数据存储领域，方法包括：构建混合更新的存储系统；根据对象索引元数据获取对象的条带ID、序列号、偏移量和长度；读取对象对应数据块的历史值和条带的异或值，并获取各校验块的编码系数；将数据块的历史值与更新值作差获取数据块的差值；使用数据块的差值与校验块的编码系数计算各校验块的差值；将异或块和异或块的差值进行异或合并，更新异或块；对象对应的数据块和更新后的异或块采用就地更新方式写入内存节点；具有偏移量和长度的校验块差值采用校验日志更新方式写入日志节点。本发明能够平衡存储成本、数据更新性能及单个故障修复性能之间的关系。
-
-
-
-
-
-
-
-
-
Search Results
85
records
(took 0.045 seconds)
