-
公开(公告)号:CN118733257A
公开(公告)日:2024-10-01
申请号:CN202410765599.1
申请日:2024-06-14
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本申请属于并行计算领域,具体公开了一种面向编码分布式计算的负载因子动态调整方法和系统。通过本申请,在动态变化的网络环境对并行计算系统的计算资源和网络资源进行监视和评估,在通过编码分布式计算策略降低系统的通信开销的基础上,根据动态变化的网络环境自适应地调整该策略,从而实现计算开销和通信开销之间的动态平衡,加快分布式并行计算的效率。可以最大化地利用系统中现有的网络资源和计算资源,自适应地应对动态变化的网络负载情况。
-
公开(公告)号:CN118585130A
公开(公告)日:2024-09-03
申请号:CN202410717267.6
申请日:2024-06-04
Applicant: 华中科技大学
Abstract: 本申请属于计算机存储领域,具体公开了一种用于纠删码修复的读取块性能优化方法和系统。通过本申请,获取用于纠删码修复各条带所需数据块在磁盘中的布局,将各条带之间的关系按照获取到的布局进行图建模,对建模生成的图进行图着色,求出最小色数作为纠删码修复所需时间片,同时根据条带颜色得到条带的修复顺序。该方法能够在平衡从不同磁盘中读取数据量的同时,有效提高磁盘读取数据的并行性,提高修复性能。
-
公开(公告)号:CN113721851B
公开(公告)日:2024-08-27
申请号:CN202110990143.1
申请日:2021-08-26
Applicant: 华中科技大学
Abstract: 本发明提供了一种基于纠删码的异构网络单节点修复方法及系统,属于计算机存储领域,方法为:获取当前网络带宽状态,包括各个节点之间的带宽;为每个失效节点选择对应的新生节点requestor以存储修复数据,并从所有幸存节点中为每个失效节点选择k个helper节点;其中,k为原始数据块;枚举每个时间戳所有可能的修复方法,选择最大的最低链路带宽所对应的修复方法,以生成源条带单级转发链路;其链路的两个节点为失效节点对应的不同helper节点;将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。本发明充分利用节点之间的高带宽资源,能够避免网络的拥塞与竞争,提升修复性能与系统的可靠性。
-
公开(公告)号:CN113626250B
公开(公告)日:2024-06-28
申请号:CN202110774701.0
申请日:2021-07-08
Applicant: 华中科技大学
IPC: G06F11/10
Abstract: 本发明提供一种基于纠删码的条带合并方法及系统,首先通过StripeMerge‑P算法基于预处理的哈希表确定纠删码条带校验块的对齐信息,通过贪心策略选择要合并的纠删码条带对进行合并,通过哈希表可以直接查找校验块位置信息,不需要额外增加计算开销,且结合贪心策略更加减少挑选合并纠删码条带对的开销。且相比直接采用StripeMerge‑G算法两两计算任意两个纠删码条带对的合并开销对比的方式,本发明先通过StripeMerge‑P算法以相对较小的计算开销挑选合并开销相对较少的纠删码条带对,然后再在剩余纠删码条带中采用StripeMerge‑G算法挑选合并的纠删码条带对,保证整体的计算开销和合并开销都相对较小,降低了纠删码条带合并过程中的计算开销。
-
公开(公告)号:CN113721848B
公开(公告)日:2024-02-09
申请号:CN202110956810.4
申请日:2021-08-19
Applicant: 华中科技大学
Abstract: 本发明提供了一种基于纠删码的多节点调度修复方法及系统,属于计算机存储领域,方法包括:获取当前网络带宽状态,包括各个节点之间的带宽;为每个失效节点选择对应的新生节点requestor以存储修复数据,并从所有幸存节点中为每一个失效节点选择k个helper节点;根据带宽大小,对所有候选链路进行从大到小排序;从排序后的候选链路中依次选择带宽最大的候选链路插入到纠删码集群中,纠删码集群中最小链路带宽大于等于未插入候选链路的带宽;根据候选链路的节点状态确定链路方向,纠删码完成对失效节点的修复任务。本发明可以充分利用带宽资源,提升失效节点的修复效率。
-
公开(公告)号:CN112200740B
公开(公告)日:2022-05-31
申请号:CN202011070261.2
申请日:2020-10-08
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于图像边缘检测的图像分块去重方法和系统,属于计算机存储领域。本发明在图片在二维像素矩阵的状态下进行分块,并利用均值哈希算法计算小块的标识,避免了编码对去重造成的影响。图片的均值哈希算法则用于计算小图片块的指纹,从而判断小图片块是否重复。算法简单计算速度快,对内容敏感。对于两张相似冗余度很高的图片,分块操作将它们完全相同的部分与存在差异的部分进行了分割,完全相同的部分作为冗余块被去掉,存在差异的部分则被保留下,从而实现了图片的去重。本发明利用图像边缘检测技术来确定分块方式,同样均匀分块的条件下,分块效果实现了画面中主要物体分离的分块方式最终实现的去重率最高。
-
公开(公告)号:CN113742339A
公开(公告)日:2021-12-03
申请号:CN202110903042.6
申请日:2021-08-06
Applicant: 华中科技大学
IPC: G06F16/22 , G06F16/245 , G06F3/06
Abstract: 本发明提供了一种面向非易失内存的链式散列插入和删除方法及系统,属于计算机存储领域,插入方法为:根据键的散列值寻找链式散列中主桶区链表是否有空闲,如有空闲则将键值对写入主桶内;否则,从预分配桶数组中取一个未使用的预分配桶,将键值对链接到预分配桶内,若预分配桶数组中无空闲的桶则插入键值对失败;其中,在键值对写的过程中不采用条目计数变量count计算NVM散列表的键值对数目;在统计散列表中有效键值对数目时通过Size函数计算。本发明避免了固定计数变量导致NVM快速磨损的问题。
-
公开(公告)号:CN113721848A
公开(公告)日:2021-11-30
申请号:CN202110956810.4
申请日:2021-08-19
Applicant: 华中科技大学
Abstract: 本发明提供了一种基于纠删码的多节点调度修复方法及系统,属于计算机存储领域,方法包括:获取当前网络带宽状态,包括各个节点之间的带宽;为每个失效节点选择对应的新生节点requestor以存储修复数据,并从所有幸存节点中为每一个失效节点选择k个helper节点;根据带宽大小,对所有候选链路进行从大到小排序;从排序后的候选链路中依次选择带宽最大的候选链路插入到纠删码集群中,纠删码集群中最小链路带宽大于等于未插入候选链路的带宽;根据候选链路的节点状态确定链路方向,纠删码完成对失效节点的修复任务。本发明可以充分利用带宽资源,提升失效节点的修复效率。
-
公开(公告)号:CN111831223B
公开(公告)日:2021-06-11
申请号:CN202010567095.0
申请日:2020-06-19
Applicant: 华中科技大学
Abstract: 本发明公开了一种提高数据去重系统可扩展性的容错编码方法、装置及系统,属于计算机存储领域,包括:在数据去重系统中新增Δk个节点时,将每k+Δk个具有局部性关联的容器划分为一个关联容器组,并将编码方式从RS(k,m)扩展为RS(k+Δk,m);对于每一个关联容器组G,将其中的Δk个容器中的共Δk×k个数据块均匀地迁移到新增节点中;对于关联容器组G中每一个未迁移的容器C,从每一个新增节点中选取一个数据块与容器C中的数据块组合,按照RS(k+Δk,m)计算组合得到的k+Δk个数据块对应的校验块PC1′~PCm′并存储到节点中,由组合得到的k+Δk个数据块及校验块PC1′~PCm′构成一个新的条带;从节点中删除中各容器的旧校验块。本发明能够有效提高数据去重系统的可扩展性。
-
公开(公告)号:CN111831480A
公开(公告)日:2020-10-27
申请号:CN202010555796.2
申请日:2020-06-17
Applicant: 华中科技大学
IPC: G06F11/14
Abstract: 本发明公开了一种基于去重系统的分层编码方法、装置及去重系统,计算机存储领域,包括:预先将数据块的被引用次数划分为N个层级,并在内存中对应创建N个缓存区作为N个数据容器;编码时,当一个数据块经过去重之后,若是唯一块,则将其被引用次数记为1;否则,将其被引用次数加1;之后,将被引用次数记录到数据块的元数据中,并确定数据块所处的层级,将其存储到对应的数据容器中;当数据容器满时,按照其所处层级对应的编码方式进行编码,并将同一条带中的分块存储到不同的节点中;层级越高,对应的被引用次数范围越大,编码条带越短。本发明能够保证去重系统具有良好的存储效率,同时又保证在数据节点失效时,去重系统具有良好的修复速率。
-
-
-
-
-
-
-
-
-