一种适用大规模海洋数据的分布式存储和处理方法及系统

    公开(公告)号:CN116226139A

    公开(公告)日:2023-06-06

    申请号:CN202310513271.6

    申请日:2023-05-09

    Applicant: 南昌大学

    Abstract: 本申请涉及海洋数据存储技术领域,特别涉及一种适用大规模海洋数据的分布式存储和处理方法及系统。本申请首先通过分片数据的划分,将大规模图数据划分为多片数据,可以进行并行处理;然后再通过对键值存储引擎优化,使得分布式图数据库即能够高效的存储图数据,最后通过对Raft一致性算法优化,即当分片数据的读写压力大于设定值且跟踪节点过多或过少,引入秘书节点或观察节点辅助领导节点进行分片数据的读写,解决高IO操作下存在的问题,从而保证其在高读写状态下,分布式服务器集群架构中所有数据副本依旧保持强一致。

    一种适用大规模海洋数据的分布式存储和处理方法及系统

    公开(公告)号:CN116226139B

    公开(公告)日:2023-07-28

    申请号:CN202310513271.6

    申请日:2023-05-09

    Applicant: 南昌大学

    Abstract: 本申请涉及海洋数据存储技术领域,特别涉及一种适用大规模海洋数据的分布式存储和处理方法及系统。本申请首先通过分片数据的划分,将大规模图数据划分为多片数据,可以进行并行处理;然后再通过对键值存储引擎优化,使得分布式图数据库即能够高效的存储图数据,最后通过对Raft一致性算法优化,即当分片数据的读写压力大于设定值且跟踪节点过多或过少,引入秘书节点或观察节点辅助领导节点进行分片数据的读写,解决高IO操作下存在的问题,从而保证其在高读写状态下,分布式服务器集群架构中所有数据副本依旧保持强一致。

Patent Agency Ranking