-
公开(公告)号:CN114647381B
公开(公告)日:2024-07-05
申请号:CN202210294245.4
申请日:2022-03-23
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F3/06
摘要: 本发明公开了一种分布式存储的容量均衡优化方法、系统、设备和介质。方法包括:利用容量均衡算法计算存储池中每个对象存储设备的目标放置组数;建立保存有存储池的所有故障域及其放置组信息的结构体;遍历结构体,计算每个故障域的目标放置组数;遍历结构体,判断每个故障域的目标放置组数是否正常;若发现目标放置组数非正常的故障域,则执行各故障域的目标放置组数更新操作以及各故障域内每个对象存储设备的目标放置组数更新操作,直至所有故障域的目标放置组数均正常;若所有故障域的目标放置组数均正常,则继续执行容量均衡操作。本发明能够在故障域物理结构不均衡的情况下优化容量均衡算法使得均衡有效且均衡时间大大缩短。
-
公开(公告)号:CN114780034B
公开(公告)日:2024-07-02
申请号:CN202210435183.4
申请日:2022-04-24
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F3/06
摘要: 本发明提供了一种分布式存储缓存限流的方法、系统、存储介质及设备,方法包括:根据分布式存储配置设置高水位阈值、极高水位阈值以及数据限流块阈值;响应于接收到写请求且其数据块小于数据限流块阈值,获取当前缓存水位并与高水位阈值、极高水位阈值比较;响应于当前缓存水位高于高水位阈值且低于极高水位阈值,根据写请求的对象的主副本类型计算其缓存系数并与基于当前缓存水位计算得到的缓存率比较;响应于缓存系数小于缓存率、或当前缓存水位低于高水位阈值,根据写请求将相应的数据写入缓存;响应于写请求的数据块大于等于数据限流块阈值、或当前缓存水位高于极高水位阈值、或缓存系数大于等于缓存率,根据写请求将相应的数据写入主存。
-
公开(公告)号:CN114281395B
公开(公告)日:2023-08-18
申请号:CN202111381382.3
申请日:2021-11-21
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F8/656 , G06F8/71 , G06F16/182 , H04L67/01 , H04L67/141
摘要: 本发明提供一种保持在线升级数据一致性的方法、系统、设备和存储介质,方法包括:响应于分布式文件系统在线升级,获取元数据服务器和所述元数据服务器对应的每个客户端的第一交互信息并检测所述第一交互信息中是否存在预设标识;响应于每个客户端的第一交互信息中均存在预设标识,获取元数据服务器之间的第二交互信息并检测所述第二交互信息中是否存在预设标识;响应于每个所述第二交互信息均存在预设标识,开启文件多数据池存储功能;以及使用所述文件多数据池存储功能设置每个存储池存储的数据范围以将超过预设阈值大小的文件分开存储。本发明通过判断元数据服务器和客户端的版本来控制大文件多数据池功能的启用和禁用,保障系统的连续和稳定。
-
公开(公告)号:CN114546265B
公开(公告)日:2023-08-11
申请号:CN202210111367.5
申请日:2022-01-29
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F3/06
摘要: 本发明提供一种快速容量均衡的方法、系统、设备和存储介质,方法包括:统计所有数据存储设备上的归置组的数量,并计算出每个数据存储设备上的平均归置组数;构建当前归置组数大于目标值数据存储设备列表和当前归置组数小于目标值数据存储设备列表,并构建当前归置组数小于目标值数据存储设备列表对应的故障域列表;遍历当前归置组数大于目标值数据存储设备列表中的每个数据存储设备以确定每个数据存储设备当前归置组数与平均归置组数的差值,对能够挪动的归置组进行遍历以确定能够替换当前归置组数小于目标值数据存储设备列表中成员的第一归置组,并根据第一归置组对当前数据存储设备进行更新。本发明大大降低整个容量均衡过程中的无效遍历动作。
-
公开(公告)号:CN116450577A
公开(公告)日:2023-07-18
申请号:CN202310701743.0
申请日:2023-06-14
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F16/11 , G06F16/182
摘要: 本发明公开了一种分布式文件系统缩容方法、系统、设备及存储介质,涉及服务器存储领域,为解决缩容处理过程中因未缩容节点的实际存储数据量过大而无法正常进行缩容处理的问题,该分布式文件系统缩容方法包括获取分布式文件系统的缩容前集群拓扑图模拟文件及与缩容指令对应的被缩容节点;根据被缩容节点和缩容前集群拓扑图模拟文件,确定各个未缩容节点在缩容过程中的转移存储数据量及业务写入存储数据量;当各个未缩容节点的实际存储数据量满足各个未缩容节点对应的第一缩容条件,响应缩容指令对分布式文件系统执行缩容处理。本发明能够保证在各个未缩容节点的实际存储数据量满足缩容条件时再执行缩容处理,避免缩容失败的问题。
-
公开(公告)号:CN111966291B
公开(公告)日:2023-02-24
申请号:CN202010820154.0
申请日:2020-08-14
申请人: 苏州浪潮智能科技有限公司
摘要: 本申请提供一种存储集群中的数据存储方法,包括:获取目标归置组内磁盘的初始分布和均衡分布;当初始分布中的源磁盘故障时,生成对应的故障表;根据均衡分布和故障表确定故障后分布;判断故障后分布中源磁盘对应的目的磁盘是否位于故障表中;若否,将均衡分布作为目标归置组的最终分布。本申请可以减少数据迁移量,降低数据重构带宽并释放重构所占用的设备资源,减少归置组的变化频率,提高存储设备的存储性能。本申请还提供一种存储集群中的数据存储系统、计算机可读存储介质和存储设备,具有上述有益效果。
-
公开(公告)号:CN112732192B
公开(公告)日:2023-01-10
申请号:CN202110027230.7
申请日:2021-01-09
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F3/06
摘要: 本发明公开了一种磁盘分布信息裁剪方法,包括以下步骤:响应于当前系统满足裁剪条件,启动裁剪机制;响应于缓存新的磁盘全量分布信息,根据所述裁剪机制中预设的裁剪触发条件判断是否触发对当前的磁盘全量分布信息进行裁剪;响应于触发对当前的磁盘全量分布信息进行裁剪,获取裁剪参数;根据裁剪参数将对当前的磁盘全量分布信息进行裁剪。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案可以降低故障时监控模块的数据库占用,提高监控模块运行的稳定性。
-
公开(公告)号:CN112306692B
公开(公告)日:2023-01-06
申请号:CN202011272834.X
申请日:2020-11-13
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F9/50
摘要: 本发明公开了一种分布式存储系统的归置组均衡方法和装置,方法包括:基于多个主归置组在多个数据存储设备上的实际分布和分布预期分别为每个数据存储设备各自分配不同的初始亲和度作为当前亲和度;基于实际分布和当前亲和度使用碾压算法为每个数据存储设备重新分配主归置组的个数以更新实际分布,并将迭代次数累加一;基于预先确定的初始步长和迭代次数确定当前步长,基于当前步长和实际分布更新当前亲和度并返回上一步骤,直到实际分布收敛并且符合分布预期;基于收敛的实际分布来执行分布式存储系统的多个主归置组在多个数据存储设备上的均衡。本发明能够在不影响精度的前提下大幅度缩短均衡时间,提高分布式存储系统的可靠性和可用性。
-
公开(公告)号:CN111984196B
公开(公告)日:2022-08-19
申请号:CN202010850086.2
申请日:2020-08-21
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F3/06 , G06F12/02 , G06F16/185 , G06F16/16
摘要: 本发明公开了一种文件迁移方法、装置、设备及可读存储介质,该方法包括:接收文件迁移任务;判断文件迁移任务是否为未完成任务;如果是,则从文件迁移任务对应位于目的存储池中的聚合大文件和各个位于源存储池中的小文件中,确定出无效文件;聚合大文件中具有将各个小文件经聚合而分别对应的迁移小文件;对无效文件进行垃圾回收。该方法可对聚合迁移过程中产生的无效数据进行回收处理,能够提高磁盘利用率。
-
公开(公告)号:CN112286684B
公开(公告)日:2022-08-02
申请号:CN202011181125.0
申请日:2020-10-29
申请人: 苏州浪潮智能科技有限公司
IPC分类号: G06F9/50
摘要: 本申请公开了一种内存使用量控制方法、装置、设备、介质,该方法包括:按照预设规则获取目标设备中运行的执行实体的栈空间使用量;基于所述栈空间使用量确定出所述执行实体的栈空间控制参数;判断所述栈空间控制参数是否为预设栈空间控制参数;如果所述栈空间控制参数不为预设栈空间控制参数,则将所述栈空间控制参数下发到所述执行实体,以便所述执行实体根据所述栈空间控制参数控制内存使用量。这样能够对执行实体的栈空间使用量进行控制,避免不必要的内存消耗,节约系统内存。
-
-
-
-
-
-
-
-
-