分布式数据库的存储管理方法及装置

    公开(公告)号:CN115269734A

    公开(公告)日:2022-11-01

    申请号:CN202211178127.3

    申请日:2022-09-27

    IPC分类号: G06F16/27 G06F16/22 G06F16/21

    摘要: 本说明书实施例提供一种分布式数据库的存储管理方法及装置,目标节点向n个节点中除目标节点外的n‑1个节点发送块询问请求。从n‑1个节点接收n‑1份有待回收的数据块集合。对目标节点维护的有待回收的数据块集合和接收的n‑1份数据块集合进行合并,得到合并数据块集合。向n‑1个节点发送合并数据块集合。n个节点中的每个节点,从合并数据块集合中,剔除其使用的数据块,得到对应的筛选数据块集合。目标节点将目标节点剔除其使用的数据块后得到的筛选数据块集合和n‑1个节点发送的n‑1份筛选数据块集合作为n份目标数据块集合,并确定n份目标数据块集合的重合数据块。对重合数据块进行回收处理。

    一种数据处理方法、装置、存储介质及设备

    公开(公告)号:CN115168304B

    公开(公告)日:2023-01-20

    申请号:CN202211085145.7

    申请日:2022-09-06

    IPC分类号: G06F16/172 G06F16/16

    摘要: 本说明书公开了一种数据处理方法、装置、存储介质及设备,通过接收待存储子文件的写入请求,当确定未对待存储子文件所属的临时文件分配目标存储块时,根据存有已存储临时文件的各存储块的空闲存储空间的大小,及该待存储子文件大小,从存有已存储临时文件的子文件的各存储块中确定第一待选存储块。根据第一待选存储块,确定用于存储该待存储子文件的目标存储块,确定外存储器中,目标存储块对应的用于存储该待存储子文件的存储地址,并将该待存储子文件存储在缓存中。可提供一种基于存储块进行数据存储的数据处理方法,该方法通过将不同临时文件的子文件存在相同存储块中,可提高存储块利用率,减少存储空间的浪费。

    内存管理方法及装置、电子设备及存储介质

    公开(公告)号:CN116860439A

    公开(公告)日:2023-10-10

    申请号:CN202310764892.1

    申请日:2023-06-26

    IPC分类号: G06F9/50 G06F3/06 G06F16/2455

    摘要: 本说明书一个或多个实施例提供一种内存管理方法及装置、电子设备及存储介质,方法包括:响应于永久存储设备内第一数据被访问,在内存中的第一对象池内确定第一目标对象,并在第一目标对象内缓存第一数据的部分或全部字段,其中,第一对象池内包括多个容量相同的第一对象,第一目标对象为第一对象池中的一个第一对象;响应于第一目标对象被第一数据的部分字段填满,且第一数据的其他字段被访问,在内存中的第二对象池内确定第二目标对象,并在第二目标对象内缓存第一数据的全部字段,其中,第二对象池内包括多个容量相同的第二对象,第二对象的容量大于第一对象的容量,第二目标对象为第二对象池中的一个第二对象。

    数据存储方法及装置
    4.
    发明授权

    公开(公告)号:CN115374127B

    公开(公告)日:2023-04-28

    申请号:CN202211292254.6

    申请日:2022-10-21

    IPC分类号: G06F16/22

    摘要: 本说明书实施例提供一种数据存储方法和装置,存储方法包括,执行n个并行任务,其中任意并行任务包括,生成多个数据块以及对应的索引指示信息,索引指示信息指示多个数据块在磁盘中存储位置的第一索引记录。基于此执行合并任务,其中包括,基于n个并行任务输出的索引指示信息,建立具有层级索引结构的索引树,在内存中存储所述索引树的根索引块;其中,在所述层级索引结构中,非底层索引块中存储其低一层索引块在磁盘中存储位置的索引记录;所述索引树的底层索引块存储所述第一索引记录。

    一种数据查询方法、数据存储方法及装置

    公开(公告)号:CN115145954A

    公开(公告)日:2022-10-04

    申请号:CN202211063011.5

    申请日:2022-09-01

    IPC分类号: G06F16/2453 G06F16/22

    摘要: 本说明书实施例提供了一种数据查询方法、数据存储方法及装置。其中,键值对数据通过多数据层结构以文件的形式存储在非易失性存储器中,文件中包含指向键值对数据的树形索引,树形索引包括若干个索引块,索引块包含若干个键及其指向的下一层索引块。在进行数据查询时,确定待查询键值对数据的键,作为第一键;基于第一键与文件对应的键范围的匹配,从若干个文件中确定第一文件;基于第一键从第一文件的树形索引中确定匹配路径上的索引块;基于匹配路径上的最后一层索引块指向的键值对数据,从第一文件中读取待查询键值对数据。

    数据库数据迁移方法和数据库
    6.
    发明公开

    公开(公告)号:CN115422165A

    公开(公告)日:2022-12-02

    申请号:CN202211158459.5

    申请日:2022-09-22

    IPC分类号: G06F16/21 G06F16/27

    摘要: 本说明书实施例提供了数据库数据迁移方法和数据库。该数据库具有计算存储分离架构,并且包括第一数据库节点和第二数据库节点,第一数据库节点和第二数据库节点均具有利用外部存储资源存储数据的能力;该方法包括:第一数据库节点接收数据存储请求,通过网络将待存储的目标数据存储至外部存储资源,该目标数据在外部存储资源上以元数据块和数据块的结构进行存储;元数据块中的元数据用来描述和索引对应的数据;当该外部存储资源上的该目标数据需要迁移到第二数据库节点时,第二数据库节点获取该目标数据的元数据,并将其加载到内存,从而基于该元数据接管其对应的数据。

    分布式数据库的存储管理方法及装置

    公开(公告)号:CN115269734B

    公开(公告)日:2022-11-29

    申请号:CN202211178127.3

    申请日:2022-09-27

    IPC分类号: G06F16/27 G06F16/22 G06F16/21

    摘要: 本说明书实施例提供一种分布式数据库的存储管理方法及装置,目标节点向n个节点中除目标节点外的n‑1个节点发送块询问请求。从n‑1个节点接收n‑1份有待回收的数据块集合。对目标节点维护的有待回收的数据块集合和接收的n‑1份数据块集合进行合并,得到合并数据块集合。向n‑1个节点发送合并数据块集合。n个节点中的每个节点,从合并数据块集合中,剔除其使用的数据块,得到对应的筛选数据块集合。目标节点将目标节点剔除其使用的数据块后得到的筛选数据块集合和n‑1个节点发送的n‑1份筛选数据块集合作为n份目标数据块集合,并确定n份目标数据块集合的重合数据块。对重合数据块进行回收处理。

    数据存储方法及装置
    8.
    发明公开

    公开(公告)号:CN115374127A

    公开(公告)日:2022-11-22

    申请号:CN202211292254.6

    申请日:2022-10-21

    IPC分类号: G06F16/22

    摘要: 本说明书实施例提供一种数据存储方法和装置,存储方法包括,执行n个并行任务,其中任意并行任务包括,生成多个数据块以及对应的索引指示信息,索引指示信息指示多个数据块在磁盘中存储位置的第一索引记录。基于此执行合并任务,其中包括,基于n个并行任务输出的索引指示信息,建立具有层级索引结构的索引树,在内存中存储所述索引树的根索引块;其中,在所述层级索引结构中,非底层索引块中存储其低一层索引块在磁盘中存储位置的索引记录;所述索引树的底层索引块存储所述第一索引记录。

    一种数据处理方法、装置、存储介质及设备

    公开(公告)号:CN115168304A

    公开(公告)日:2022-10-11

    申请号:CN202211085145.7

    申请日:2022-09-06

    IPC分类号: G06F16/172 G06F16/16

    摘要: 本说明书公开了一种数据处理方法、装置、存储介质及设备,通过接收待存储子文件的写入请求,当确定未对待存储子文件所属的临时文件分配目标存储块时,根据存有已存储临时文件的各存储块的空闲存储空间的大小,及该待存储子文件大小,从存有已存储临时文件的子文件的各存储块中确定第一待选存储块。根据第一待选存储块,确定用于存储该待存储子文件的目标存储块,确定外存储器中,目标存储块对应的用于存储该待存储子文件的存储地址,并将该待存储子文件存储在缓存中。可提供一种基于存储块进行数据存储的数据处理方法,该方法通过将不同临时文件的子文件存在相同存储块中,可提高存储块利用率,减少存储空间的浪费。