网络消息数据的内存分配方法、装置、设备及存储介质

    公开(公告)号:CN111625350A

    公开(公告)日:2020-09-04

    申请号:CN202010386807.9

    申请日:2020-05-09

    发明人: 李宁宁 孟祥瑞

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种网络消息数据的内存分配方法,包括:若同一事件分发器内的消息数据读事件函数具有待读取数据,则获取待读取数据的数据长度;从预先申请的内存池中获取与所述数据长度对应的内存块;将所述待读取数据存储至所述内存块。可见,在本申请中,若同一事件分发器内的消息数据读事件函数具有待读取数据时,可直接从预先申请的内存池中获取对应的内存块进行数据的存储,不需要调用内存分配函数来申请物理内存,从而提高了内存分配效率,降低消息数据读事件处理的延迟,实现了数据存储节点间的高效数据通信。本发明还公开了一种网络消息数据的内存分配装置、设备及计算机可读存储介质,同样能实现上述技术效果。

    元数据检索方法、系统、终端及存储介质

    公开(公告)号:CN114490527B

    公开(公告)日:2024-09-17

    申请号:CN202111342936.9

    申请日:2021-11-12

    摘要: 本发明涉及分布式存储技术领域,具体提供一种元数据检索方法、系统、终端及存储介质,包括:获取所有元数据的元数据信息,并将所有元数据信息保存至预先创建的内存数据结构;响应于元数据检索请求,元数据服务管理进程通过创建异步线程从所述内存数据结构检索目标元数据信息;根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存数据中查找目标元数据。本发明能够在满足在百亿级文件量的分布式存储系统快速查找满足条件的元数据;实现了更丰富的分类条件查找;显著降低了文件分类检索对整个分布式文件系统资源的开销。

    一种还原放置组分布的方法、装置、设备、产品

    公开(公告)号:CN112486731B

    公开(公告)日:2023-01-10

    申请号:CN202011210297.6

    申请日:2020-11-03

    发明人: 孙润宇 孟祥瑞

    IPC分类号: G06F11/14

    摘要: 本发明提供一种还原放置组分布的方法、装置、设备、产品,所述方法包括如下步骤:对象存储设备故障掉电时,遍历分布在该故障的对象存储设备上的放置组并计算出所述放置组的分布;计算出分布后,记录对象存储设备对应的故障信息;在对象存储设备上电上线后,根据其对应的故障信息进行放置组分布的恢复。通过该优化可以还原放置组的分布,减少对象存储设备上电后数据分布算法的计算次数,减少额外的数据迁移,从而降低资源占用,提升系统性能,增强产品竞争力。

    一种分布式文件系统控制数据恢复速度的方法及装置

    公开(公告)号:CN112306750B

    公开(公告)日:2022-11-29

    申请号:CN202011181614.6

    申请日:2020-10-29

    发明人: 刘鑫 孟祥瑞

    摘要: 本发明公开了一种分布式文件系统控制数据恢复速度的方法,使用Peering过程中发现的缺失数据的OSD来判断磁盘是否需要在数据恢复中写入数据。PG将缺失数据的OSD上报到Mon,Mon统计当前正在数据恢复的所有PG上报的OSD,来得到正在写入的磁盘数量。得到写入的磁盘数量后,计算数据恢复速度上限,和现有方案计算出的数据恢复速度上限相比较,取较小的值作为最终结果。通过上述方式,本发明能够在数据恢复过程中根据写入数据的磁盘数量动态调整数据恢复速度上限,减小磁盘写入压力。

    一种数据写入方法、装置、设备、介质

    公开(公告)号:CN111625546B

    公开(公告)日:2022-08-19

    申请号:CN202010377079.5

    申请日:2020-05-07

    发明人: 谢有权 孟祥瑞

    IPC分类号: G06F16/23 G06F3/06

    摘要: 本申请公开了一种数据写入方法、装置、设备、介质,该方法包括:判断待写入数据的长度是否小于最小分配单元;如果所述待写入数据的长度小于最小分配单元,则直接将所述待写入数据写入磁盘;将所述待写入数据写入到所述磁盘之后,对所述待写入数据对应的元数据进行更新。将小块数据直接写入磁盘上,不需要将小块数据再写入到数据库中,只需要对小块数据进行一次落盘,减少了小块数据的落盘次数,也降低了数据库的压力,也提高本地存储引擎在处理大量小块数据时的性能。

    一种基于纠删码的数据重构方法、装置、设备及存储介质

    公开(公告)号:CN112463434B

    公开(公告)日:2022-08-02

    申请号:CN202011305572.2

    申请日:2020-11-19

    发明人: 王庆海 孟祥瑞

    IPC分类号: G06F11/10 G06F11/14

    摘要: 本申请公开了一种基于纠删码的数据重构方法、装置、设备及存储介质。该方法的步骤包括:获取数据对象中增量数据的数据偏移信息;根据数据偏移信息在多个源OSD中获取相应的数据片段;其中,源OSD为基于纠删码存储数据对象的各OSD中,存储有增量数据的目标OSD,且源OSD的数量与纠删码对应的数据盘数量相同;将各数据片段整合为纠删增量片段,并将纠删增量片段写入至OSD中未存储有增量数据的待重构OSD。本方法减少了数据重构的数据量,进一步确保了数据重构的整体效率。此外,本申请还提供一种基于纠删码的数据重构装置、设备及存储介质,有益效果同上所述。

    一种分布式存储集群重构进度的统计方法、系统及装置

    公开(公告)号:CN112269532B

    公开(公告)日:2022-07-29

    申请号:CN202011104434.8

    申请日:2020-10-15

    发明人: 丁纯杰 孟祥瑞

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种分布式存储集群重构进度的统计方法、系统及装置,当集群中的OSD发生故障时,获取每个存储池在本次重构过程中的重构权重;在集群进行本次重构的过程中,获取每个存储池在自身重构任务中的重构进度;根据r=∑wi*ri计算得到集群重构进度;其中,wi为第i个存储池的重构权重;ri为第i个存储池的重构进度;在某一存储池未开始重构时,此存储池的重构进度值置为1。可见,本申请将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出集群重构进度,使集群重构进度与存储池重构进度一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新重构任务触发,不会卡在一定值,更准确反映集群真实重构进度。

    一种基于文件分级的文件迁移方法及相关装置

    公开(公告)号:CN112269758B

    公开(公告)日:2022-07-22

    申请号:CN202011079074.0

    申请日:2020-10-10

    发明人: 孙业宽 孟祥瑞

    摘要: 本申请公开了一种基于文件分级的文件迁移方法,包括查询是否存在高水位数据池;所述高水位数据池为数据量达到预设百分比的数据池;当不存在高水位数据池时,依次迁移索引表中的各待迁移文件;当存在高水位数据池时,逐一迁移所述索引表中位于所述高水位数据池的所述待迁移文件,且在每次将位于所述高水位数据池的所述待迁移文件迁移后,查询是否仍存在高水位数据池,直到不存在高水位数据池时再依次迁移所述索引表中剩余的所述待迁移文件。该方法能够避免快速池被写穿,提升存储系统整体的性能。本申请还公开了一种基于文件分级的文件迁移装置、设备及计算机可读存储介质,均具有上述技术效果。

    一种存储集群中存储介质变更减少重构数据的方法及系统

    公开(公告)号:CN111752483B

    公开(公告)日:2022-07-22

    申请号:CN202010470074.7

    申请日:2020-05-28

    发明人: 王根岭 孟祥瑞

    IPC分类号: G06F3/06

    摘要: 本发明提供一种存储集群中存储介质变更减少重构数据的方法及系统,所述方法包括如下步骤:S1.获取集群存储池中归置组PG的原始分布OSD列表;S2.当集群存储池中发生换盘时,获取集群存储池中归置组PG的新分布OSD列表;S3.计算归置组PG的原始分布OSD列表与新分布OSD列表的差异项,生成差异比对表;S4.遍历差异比对表依次删除每个归置组PG差异项在对应新分布OSD列表中的替换硬盘,得到额外OSD变化的归置组PG,生成差异纠正表;S5.应用差异纠正表,将额外OSD变化的归置组PG纠正成原始分布。本发明减少集群数据的迁移量,提升集群可用性。

    一种元数据操作权限信息延迟同步恢复的方法、系统

    公开(公告)号:CN111984592B

    公开(公告)日:2022-07-19

    申请号:CN202010886946.8

    申请日:2020-08-28

    发明人: 解志阳 孟祥瑞

    摘要: 本发明提供一种元数据操作权限信息延迟同步恢复的方法、系统,所述方法包括如下步骤:元数据服务器发生故障进行重启时,客户端发送含有元数据操作权限数量的重连消息到元数据服务器;元数据服务器处理客户端发送的消息时,判断元数据操作权限数量是否等于1;若元数据操作权限数量等于1,创建一个空的索引节点并将创建的索引节点的状态设置为未加载状态;元数据服务器启动完成后,接收到客户端发送请求操作该索引节点时,判断索引节点的状态;根据索引节点的状态进行元数据操作权限同步操作。元数据操作权限同步操作完成后,继续执行客户端的请求完成响应。提高元数据服务器故障切换的效率,减小对用户使用的影响。