针对Ceph的数据同步方法、装置、设备及存储介质

    公开(公告)号:CN117591345B

    公开(公告)日:2024-05-14

    申请号:CN202410072385.6

    申请日:2024-01-18

    IPC分类号: G06F11/14 G06F3/06

    摘要: 本申请公开了一种针对Ceph的数据同步方法、装置、设备及存储介质,方法包括当系统断电重启时,读取存储于文件层的磁盘位图;根据所述磁盘位图以及断电重启时刻,确定磁盘对应的待同步区域;读取所述待同步区域存储的目标数据,并重新同步所述目标数据。本申请通过预先构建用于备份数据的磁盘的磁盘位图,并通过磁盘位图来记录数据在磁盘中的存储位置,在发生断电重启时,可以根据磁盘位图确定可能发送数据遗失的待同步区域,然后即对该待同步区域进行分析以确定目标数据,并重新同步目标数据,这样可以减少数据分析所需要的时间,从而可以提高数据备份效率。

    一种缓存资源的弹性分配方法、装置、终端及存储介质

    公开(公告)号:CN117472799B

    公开(公告)日:2024-04-02

    申请号:CN202311831594.6

    申请日:2023-12-28

    IPC分类号: G06F12/0871

    摘要: 本发明公开了的一种缓存资源的弹性分配方法、装置、终端及存储介质,所述方法包括:获取各个存储池的使用场景信息,并基于所述使用场景信息,确定各个存储池的使用需求信息,所述使用需求信息用于反映各个存储池的使用目的;基于各个存储池的使用需求信息,确定与每一个存储池所对应的目标存储空间,并基于所述目标存储空间,确定各个存储池所对应的缓存需求量;基于各个存储池所对应的缓存需求量,为各个存储池分配对应的缓存分片。本发明可对缓存资源进行切片处理,并基于各个存储池的使用需求信息来灵活且弹性地分配缓存分片,在满足缓存需求的同时提高缓存的利用率,避免存储资源的浪费。

    基于排序窗口的数据报文的排序方法、装置及设备

    公开(公告)号:CN117527937A

    公开(公告)日:2024-02-06

    申请号:CN202410025610.0

    申请日:2024-01-08

    发明人: 刘江

    IPC分类号: H04L69/22 H04L69/164 H04L1/00

    摘要: 本申请公开了一种基于排序窗口的数据报文的排序方法、装置及设备,方法包括接收数据报文,读取数据报文的第一报文序号和第一排序队列的报文序号段,根据报文序号段和第一报文序号查找数据报文在第一排序队列中的排序位置;当未查找到排序位置时,从第一排序队列中选取被移动数据报文,根据被移动数据报文移动第一排序队列对应的报文序号段,以更新第一排序队列的报文序号段;将被移动数据报文移动至第二排序队列,并将所述数据报文放置于移动后的第一排序队列内。本申请中第一排序队列通过滑动窗口方式来对接收到的数据报文进行排序,并将排序后的数据报文移动至第二排队序列,以通过第一排序队列和第二排序队列的配合,实现了报文乱序重排。

    一种源数据双控双活存储控制方法、系统、终端及介质

    公开(公告)号:CN117492664A

    公开(公告)日:2024-02-02

    申请号:CN202311843352.9

    申请日:2023-12-29

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种源数据双控双活存储控制方法、系统、终端及介质,方法包括:获取源数据所对应的数据集合,基于数据集合确定源数据所对应的目录信息;根据目录信息,确定源数据的存储位置,并获取存储位置所对应的主控制设备;获取与所述主控制设备互联且相互绑定的备用控制设备,并在对所述源数据进行读写操作时,基于所述主控制设备和/或所述备用控制设备读取所述源数据。本发明通过分析源数据的目录信息确定出对应的存储位置,进而得到对应的主控制设备以及备用控制设备,通过主控制设备和备用控制设备来实现对源数据的随意调用与读取,从而实现源数据的双控双活存储。

    分布式文件系统在虚拟机环境下的部署方法、装置及设备

    公开(公告)号:CN111625496B

    公开(公告)日:2023-08-15

    申请号:CN202010442858.9

    申请日:2020-05-22

    发明人: 刘江 孟军

    摘要: 本发明实施例公开了一种分布式文件系统在虚拟机环境下的部署方法、装置及设备。该方法包括:根据虚拟客户端节点的网络地址对各个虚拟客户端节点进行认证;向认证后的虚拟客户端节点发送指令,以控制认证后的虚拟客户端节点进行分布式文件系统的软件包的安装;基于安装了软件包的虚拟客户端节点生成分布式文件系统的配置文件,并根据配置文件控制各个虚拟客户端节点进行配置。本发明实施例所提供的技术方案,实现了分布式文件系统简单高效的自动化部署过程,并提高了分布式文件系统的可扩展性及灵活性,同时为用户对分布式文件系统的测试及重建提供了更多的便利。

    一种分布式系统部署方法、装置、终端设备及存储介质

    公开(公告)号:CN114371853B

    公开(公告)日:2022-09-20

    申请号:CN202210022154.5

    申请日:2022-01-10

    发明人: 胡玉晟

    IPC分类号: G06F8/60 G06F9/50

    摘要: 本发明公开了一种分布式系统部署方法、装置、终端设备及存储介质,所述方法包括:获取环境信息,并根据所述环境信息生成部署指令,其中,所述环境信息用于反映各个子系统下的可用资源;根据所述部署指令,确定所述各个子系统的部署方案,并对所述各个子系统进行部署工作;对所述各个子系统进行检测,确定所述各个子系统的工作状态,并根据所述工作状态生成部署内容。本发明可实现大量设备同时部署并相应,部署效率高,且整个部署过程都是自动化实现,不但有利于及时反馈问题,也大大提高了各个子系统的部署效率及有效性。

    一种生产中心数据恢复方法、系统、终端设备及存储介质

    公开(公告)号:CN114520811B

    公开(公告)日:2022-08-05

    申请号:CN202210415857.4

    申请日:2022-04-20

    发明人: 许宇峰

    IPC分类号: H04L67/1095 G06F11/14

    摘要: 本发明公开了一种生产中心数据恢复方法、系统、终端设备及存储介质,所述方法包括:获取生产中心所对应的主机房的数据状态,并基于所述数据状态确定所述生产中心的运转状态;若所述运转状态为异常运转时,获取同城灾备中心的第一自检状态数据;基于所述第一自检状态数据,确定数据恢复方式,并通过数据备份方式实现数据恢复。本发明可基于同城灾备中心不同的状态来确定对应的数据恢复方式,有助于实现数据的全高效保护和实现快速数据恢复,并且还可避免因同城灾备中心的损坏,造成数据无法恢复的问题。

    适用于FT2000+平台部署Ceph的主节点

    公开(公告)号:CN112468349A

    公开(公告)日:2021-03-09

    申请号:CN202110100743.6

    申请日:2021-01-26

    发明人: 龚立义 胡玉晟

    IPC分类号: H04L12/24 H04L29/08

    摘要: 本发明公开了一种适用于FT2000+平台部署Ceph的主节点,包括:管理模板配置模块,用于根据设定规则配置管理模板,所述管理模板包括ansible配置脚本;分发模块,用于将所述管理模板分发至Slave节点,以使得所述Slave节点根据所述管理模板执行配置脚本,完成Ceph部署;所述管理模板配置模块,包括:网络配置单元,用于提供配置Slave节点的网络配置脚本;磁盘配置管理单元,用于提供配置Slave节点的磁盘配置脚本,根据定义好的磁盘规则来创建磁盘到容器映射关系,达到容器存储持久化的目的能够实现分布式存储系统Ceph的快速自动化的部署。

    CEPH放置组的分配方法、装置、服务器及存储介质

    公开(公告)号:CN111930713A

    公开(公告)日:2020-11-13

    申请号:CN202010992111.0

    申请日:2020-09-21

    发明人: 黄汝林 孟军

    摘要: 本发明实施例公开了一种CEPH放置组的分配方法、装置、服务器及存储介质,其中,所述方法包括:读取每个OSD与待分配放置组对应的存储池的亲和度值,所述亲和度值用于表征所述OSD对应的存储能力;根据所述亲和度值确定映射OSD,将所述映射OSD对应分配至所述放置组。可以根据OSD实际的存储能力对放置组PG进行合理的分配。可以使现有的硬件资源按预期的方式被利用,能够满足不同用户在各自使用场景不同需求。

    存储数据重写方法、装置、服务器及存储介质

    公开(公告)号:CN109491620B

    公开(公告)日:2020-08-14

    申请号:CN201811407789.7

    申请日:2018-11-23

    发明人: 龚立义 孟军

    IPC分类号: G06F3/06

    摘要: 本发明实施例公开了一种存储数据重写方法、装置、服务器及存储介质。该方法包括:将存储数据缓存于缓存数据表中;根据重写数据的起始存储地址和长度,得到未重写数据的存储地址范围;根据所述未重写数据的存储地址范围,从缓存数据表中查找未重写数据;将重写数据和未重写数据组合,存储至内存。通过将存储数据缓存值缓存数据表中,从缓存数据表中查询得到未重写数据,并与重写数据进行组合,进行编码得到新的校验块数据,并重新将组合数据和校验块数据存储至内存,而不需要从存储内存中读取未重写数据,降低了I/O操作的工作量,提高了处理效率。