一种放置组故障域冲突检测方法、装置以及介质

    公开(公告)号:CN116302632A

    公开(公告)日:2023-06-23

    申请号:CN202310079891.3

    申请日:2023-01-30

    Inventor: 孙润宇 侯斌

    Abstract: 本申请涉及分布式存储系统领域,公开了一种放置组故障域冲突检测方法、装置以及介质,在检测到对象存储设备离线或重新上线后导致的放置组成员发生变更时,读取存储池的相关属性信息以获取存储池的故障域类型、副本数及所在的对象存储设备层级关系;根据故障域类型、副本数及对象存储设备层级关系确认存储池中的故障域和对象存储设备成员的对应关系;采用本技术方案,在发生放置组迁移后,遍历发生成员变更的放置组,根据对应关系确认放置组中各成员所对应的故障域,若各故障域中没有重合的故障域,则确认成员满足故障域。由此,在放置组中选出发生变更的新成员,并主动检查其是否满足故障域,实现在放置组迁移后对其成员的故障域的检测。

    一种分布式存储系统的读写控制方法和系统

    公开(公告)号:CN113253932A

    公开(公告)日:2021-08-13

    申请号:CN202110588833.4

    申请日:2021-05-28

    Inventor: 彭超峰 侯斌

    Abstract: 本发明公开一种分布式存储系统的读写控制方法和系统,其中,分布式存储系统的读写控制方法包括:根据磁盘的层写入顺序,将SST文件写入磁盘的空余层,其中,SST文件包括key值;当磁盘的空余层写满时,根据key值与磁盘存储空间对应关系,按照预设压缩策略对同key值的SST文件进行合并压缩;根据层写入顺序,将合并压缩后的SST文件写入磁盘的下一空余层;当需要读取SST文件时,根据key值与磁盘存储空间对应关系,读取磁盘中的SST文件。本发明的技术方案能解决现有技术现有磁盘读写方式会带来读放大和写放大的问题,严重降低SSD的使用寿命的的问题。

    数据恢复方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118585381B

    公开(公告)日:2025-01-28

    申请号:CN202411067545.4

    申请日:2024-08-06

    Inventor: 张新亮 侯斌

    Abstract: 本发明实施例提供了一种数据恢复方法、装置、设备、介质及计算机程序产品,应用于源对象存储设备,包括:判断源对象存储设备和目标对象存储设备是否位于同一节点;若是,则当接收到所述目标对象存储设备发送的目标盘的控制器内存地址时,通过直接内存访问方式将对象数据写入目标盘的控制器内存中;若否,则确定所述源对象存储设备对应的第一节点和所述目标对象存储设备对应的第二节点,当接收到所述目标对象存储设备发送的目标盘的控制器内存地址时,基于所述目标盘的控制器内存地址读取所述对象数据,并通过网卡的网络数据传输方式将所述对象数据写入目标盘的控制器内存中。

    一种分布式集群数据重构方法、装置、及程序产品

    公开(公告)号:CN118312103A

    公开(公告)日:2024-07-09

    申请号:CN202410483397.8

    申请日:2024-04-19

    Abstract: 本发明涉及分布式集群技术领域,公开了一种分布式集群数据重构方法、装置、及程序产品,本发明方法响应于分布式集群的重构指令;根据待恢复对象标识信息判断内存中是否存储待恢复对象的数据,当确认内存中已经存储,则从内存中读取待恢复对象的数据,作为目标恢复对象的数据;或者,当确认内存中未存储,则从硬盘中读取待恢复对象的数据,作为目标恢复对象的数据,并将目标恢复对象的数据存储至内存,目标恢复对象的数据构建恢复消息;将恢复消息下发至目标对象存储设备,完成数据重构。通过数据重构和读写操作可以在内存中并行进行,减少了与硬盘的资源竞争,避免了现有技术中存在的加锁和解锁过程,进而有效地提升了数据重构的效率。

    分布式存储系统的故障检测方法、装置、设备及介质

    公开(公告)号:CN117312081A

    公开(公告)日:2023-12-29

    申请号:CN202311251731.9

    申请日:2023-09-26

    Inventor: 杜兆月 侯斌

    Abstract: 本发明涉及分布式存储技术领域,公开了一种分布式存储系统的故障检测方法、装置、设备及介质,该方法包括:接收来自于存储节点的第一信息,第一信息为存储节点执行数据操作请求时服务模块的服务状态发生变化的指示信息;根据第一信息从存储节点获取服务模块的当前数据结构信息;对比当前数据结构信息和上一数据结构信息;在满足第一条件的情况下,确定存储节点故障,第一条件包括当前数据结构信息和上一数据结构信息不同,且上一数据结构信息对应的服务状态为正常状态,或者,当前数据结构信息和上一数据结构信息相同,且上一数据结构信息对应的服务状态为异常状态。本发明能够在保证分布式存储系统性能的同时,及时发现分布式存储系统的故障。

    一种条带化数据的包处理方法、服务端、设备及介质

    公开(公告)号:CN117111851A

    公开(公告)日:2023-11-24

    申请号:CN202311119021.0

    申请日:2023-08-31

    Abstract: 本发明涉及条带化数据处理技术领域,公开了一种条带化数据的包处理方法、服务端、设备及介质,可以使用第一请求包筛选出相匹配的目标请求包,将第一请求包与目标请求包合并生产第一组合包,并可以在当前组合包为非条带对齐请求包时,在当前组合包的基础上继续在第二队列中尝试筛选和合并相匹配的非条带对齐请求包,并在最新得到的组合包为条带对齐请求包时,根据最新得到的组合包对条带化数据执行相应的写操作,或者在遍历完第二队列后,根据遍历完第二队列后的组合包对条带化数据执行相应的写操作,进一步减少多个非条带对齐请求包导致的写中读次数,甚至避免非条带对齐请求包导致的写中读,进一步提高磁盘运行效率,保障磁盘性能。

    数据管理方法及装置
    7.
    发明公开

    公开(公告)号:CN119861879A

    公开(公告)日:2025-04-22

    申请号:CN202510341115.5

    申请日:2025-03-21

    Abstract: 本申请实施例提供了一种数据管理方法及装置,其中,该方法包括:获取待写入固态硬盘的多个数据;获取多个数据中的各个数据对应的热度属性;根据热度属性,将各个数据写入固态硬盘中的各个数据块,其中,不同的数据块对应不同的热度属性条件。通过本申请,解决了数据管理效率较低的技术问题,进而达到了提高数据管理效率的效果。

    集群鉴权控制方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN116484340A

    公开(公告)日:2023-07-25

    申请号:CN202310540293.1

    申请日:2023-05-11

    Inventor: 王瑞瑞 侯斌

    Abstract: 本申请涉及存储技术领域,具体公开了一种集群鉴权控制方法、装置、设备及计算机可读存储介质,相较于相关技术中由管理软件根据集群的许可证下发鉴权信息到目标集群的方案,由目标集群中的主监视器节点获取管理软件下发的许可证,自行根据许可证确定目标集群的鉴权信息,通过监视器服务将鉴权信息同步到目标集群的各备监视器节点,以使各备监视器节点与主监视器节点运行业务监视器根据鉴权信息进行业务操作限制,利用用于监控管理目标集群的各种状态的监视器来执行对集群的鉴权信息管理,从而可以实现对集群底层功能的细化鉴权管理,且相较于相关技术管理软件下发鉴权命令的方式简化了控制操作,且便于在监视器中进行鉴权信息管理,方便问题追溯。

    一种分布式存储系统容量统计方法、装置、设备及介质

    公开(公告)号:CN116431457A

    公开(公告)日:2023-07-14

    申请号:CN202310416347.3

    申请日:2023-04-13

    Abstract: 本申请公开了一种分布式存储系统容量统计方法、装置、设备及介质,涉及分布式存储技术领域,包括:当监测到分布式存储系统的目标对象中有数据块写入时,获取数据块的起始位置与终止位置;根据起始位置和终止位置生成一个目标数据集合,并将目标数据集合更新到位于所述目标对象的实际数据占用集合中;遍历位于同一个归置组上的所有目标对象中的实际数据占用集合,分别计算每个实际数据占用集合中所有集合的差值之和,得到各个目标对象的实际数据占用量;根据所有目标对象的实际数据占用量得到分布式存储系统的容量统计结果。本申请能够准确的统计出分布式存储系统的实际数据占用量,提升分布式存储系统的可用性与可靠性。

    分布式存储系统节点故障的处理方法、系统、装置及介质

    公开(公告)号:CN116401122A

    公开(公告)日:2023-07-07

    申请号:CN202310351771.4

    申请日:2023-03-31

    Abstract: 本申请公开了一种分布式存储系统节点故障的处理方法,涉及分布式存储领域,为了解决解决存储系统整体故障或多节点同时故障导致无法接收业务读写的问题,本申请在故障恢复时,向各备监视器节点发送租约消息;获取各备监视器节点返回的租约回应消息以获取各备监视器节点的启动信息;根据各备监视器节点的启动信息判断存储系统是否发生多数节点故障;若是,将更新对象存储设备维护表。避免了对象存储设备发生故障处于离线状态后,存储系统将发生故障前的对象存储设备的在线状态错误地更新在对象存储设备维护表中导致存储系统一直处于推举选主流程,使得存储系统所服务的前端业务更快地恢复至故障前水平,提升了存储系统在多数节点故障中的稳定性。

Patent Agency Ranking