-
公开(公告)号:CN120010783A
公开(公告)日:2025-05-16
申请号:CN202510101745.5
申请日:2025-01-22
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于多队列的纠删码条带更新方法、装置和电子设备,该方法包括:获取原始条带中数据块的基本元数据信息;基于所述基本元数据信息,将所述数据块放入不同的预设编码队列,所述不同的预设编码队列包括高频更新编码队列、低频更新编码队列和无更新编码队列;基于不同的预设编码队列中的数据块,分别使用不同的预设生成策略生成条带。该方法可以降低纠删码条带更新对全闪集群中SSD盘的寿命损耗。
-
公开(公告)号:CN120011131A
公开(公告)日:2025-05-16
申请号:CN202510117829.8
申请日:2025-01-24
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F11/10
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于子块化的低内存编码方法及装置,方法包括:将包含#imgabs0#个数据块和#imgabs1#个校验块的条带均分成#imgabs2#个子条带,每个子条带包括#imgabs3#个子数据块和#imgabs4#个子校验块,#imgabs5#;根据数据块数量和校验块数量构建编码矩阵,利用计算单元按照所述编码矩阵以子块为单位分段计算原始数据子块的校验编码;重复计算每个原始数据子块的校验编码,直至完成所有原始数据子块的校验信息的计算,得到最终计算结果。通过本申请能够减少编码过程中的峰值内存,缩短编码时间。
-
公开(公告)号:CN119127564A
公开(公告)日:2024-12-13
申请号:CN202411308087.9
申请日:2024-09-19
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F11/10
Abstract: 本申请属于计算机存储技术领域,具体公开了一种低修复带宽的纠删码编码方法及装置。本申请,通过将k个数据块和m个校验块组成一个条带,在使用纠删码编码方式的分布式存储系统中,通过将该条带子条带化,并将部分子条带中的子数据块的校验信息嵌入到其他子条带的子校验块中,从而在一个分布式存储系统中的存储节点失效时,能够通过这些嵌入的校验信息来减少部分子条带的修复带宽。
-
公开(公告)号:CN119088305A
公开(公告)日:2024-12-06
申请号:CN202411197088.0
申请日:2024-08-29
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储领域,具体公开了一种空洞整理方法、装置、电子设备和存储介质,该方法包括:对于有空洞的条带组,在第一方案和第二方案中,选择消耗磁盘I/O较少的方案,对空洞区域进行整理;其中,所述第一方案为当新数据请求到达时,将新数据写入空洞区域;所述第二方案为将条带组中每个逻辑块内的有效数据整理到条带组中的连续数据空间进行存储,当新数据请求到达时,将新数据顺序写入所述连续数据空间以外的空洞区域,通过该方法可以减少数据的迁移引起的磁盘I/O操作,从而提高系统性能和可靠性。
-
公开(公告)号:CN115422604A
公开(公告)日:2022-12-02
申请号:CN202210979822.3
申请日:2022-08-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了针对非易失内存的数据安全处理方法、内存控制器及系统,属于内存安全技术领域,包括:构建传统BMT作为Back_BMT,以其中某一层节点为叶子节点构建BMT作为Fore_BMT,其叶子节点对应的Back_BMT子树和NVM空间分别为Region_BMT和区域;将数据块B从CPU写回NVM时,从Back_BMT中读取B的计数器并更新,之后更新B所属区域R对应的Region_BMT,并将该Region_BMT加入Fore_BMT保护;对B进行加密后写入NVM;将Region_BMT加入Fore_BMT保护,包括:若Fore_BMT中不存在与其相对应的叶子节点,在从Fore_BMT中优先分配空闲或已同步的叶子节点,若分配不成功,则从Fore_BMT选取一个叶子节点Fore_Victim,根据Fore_Victim更新Back_BMT后,利用该Region_BMT更新Fore_BMT。本发明能够保障安全NVM中元数据崩溃可恢复,并降低BMT根节点更新的开销。
-
公开(公告)号:CN110347526A
公开(公告)日:2019-10-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN119449445A
公开(公告)日:2025-02-14
申请号:CN202411644219.5
申请日:2024-11-18
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: H04L9/40 , G06N3/042 , G06N3/0442
Abstract: 本发明公开了基于动态溯源图的异常检测方法及系统,属于网络异常检测领域,包括:构建溯源图,将各节点的节点特征和与该节点相连的边的特征拼接作为对应节点的状态特征向量;持续监测系统溯源信息并对溯源图进行动态更新;当生成新的边et时,执行:将et、围绕et的图结构在t‑时刻的状态向量st‑以及et的生成时刻t输入图注意力网络,得到et的嵌入向量z,并对et的源、目的节点进行更新;将z输入解码器,预测et的类型,得到预测向量P(et);解码器包括依次连接长短期记忆网络和多个全连接层;计算P(et)与et的实际边类型向量之间的重构误差RE,若RE>Th,则判定存在异常,否则,判定不存在异常。本发明能够提高异常检测的检测精度和实时性。
-
公开(公告)号:CN110442535A
公开(公告)日:2019-11-12
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN108959460A
公开(公告)日:2018-12-07
申请号:CN201810627678.0
申请日:2018-06-15
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F17/30
Abstract: 本发明公开了一种基于顶点关联度的图数据布局方法,包括:将图数据转化为压缩稀疏行结构,得到顶点关联度数组;从图数据中随机获取初始顶点加入初始队列,将初始顶点加入重映射数组;将初始队列中顶点的邻居列表加入层次队列;根据顶点关联度数组计算层次队列中各个顶点和滑动窗口中所有顶点之间的顶点关联度之和,将顶点关联度之和最大的顶点作为最优点加入重映射数组;判断是否层次队列中所有顶点都加入重映射数组,如果是则执行上一步,否则执行下一步;将初始队列清空,将层次队列中所有顶点加入初始队列,将层次队列清空,直至顶点重映射操作完成,得到最优重映射数组。本发明对于遍历式图,能够有效减少内存随机访问,缩短应用执行时间。
-
公开(公告)号:CN110442535B
公开(公告)日:2021-06-11
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
-
-
-
-
-
-
-
-