一种分布式图数据的数据局部性度量方法和系统

    公开(公告)号:CN115599966B

    公开(公告)日:2023-03-10

    申请号:CN202211610716.4

    申请日:2022-12-15

    IPC分类号: G06F16/901 G06F16/903

    摘要: 本申请涉及一种分布式图数据的数据局部性度量方法和系统,其中,该方法包括:对图数据库中各个图分区的图数据进行数据局部性计算,得到连通分量信息,其中,连通分量信息包括连通分量ID;在图数据库中存储的图数据发生变动的情况下,根据变动的图数据实时计算更新对应图分区的连通分量信息;以连通分量作为数据局部性的指标,并针对数据批量入库和实时入库,设计两种对应的数据局部性度量方式。通过本申请,解决了如何度量图数据库中图数据的数据局部性的问题,实现了分布式图数据库中对图分区数据局部性的实时精准度量,进而可以基于该数据局部性,实现图分区之间数据的负载均衡和局部性均衡。

    一种一主多从的集群间数据实时同步的方法和系统

    公开(公告)号:CN115544172A

    公开(公告)日:2022-12-30

    申请号:CN202211498391.5

    申请日:2022-11-28

    IPC分类号: G06F16/27 G06F11/30

    摘要: 本申请涉及一主多从的集群间数据实时同步的方法和系统,其中,该方法包括一主多从的集群间元数据同步和一主多从的集群间属性数据同步;通过元监听器节点和/或存储监听器节点,将主集群上要同步的数据发送到各个从集群的管道节点上;再通过管道节点将数据处理后发送到对应从集群节点,完成一主多从的集群间数据同步。通过本申请,解决了如何在图数据库中进行一主多从的实时数据同步的问题,实现了图数据库中实时变化的关系网络数据在一主多从的集群间实时同步,有效地保证了数据的一致性。

    图数据库中集群间数据实时同步的方法、系统和介质

    公开(公告)号:CN114661818A

    公开(公告)日:2022-06-24

    申请号:CN202210267788.7

    申请日:2022-03-17

    IPC分类号: G06F16/27 G06F16/23

    摘要: 本申请涉及一种图数据库中集群间数据实时同步的方法、系统和介质,其中,该方法包括:通过在主集群上启动监听器节点,创建学习者副本并加入主集群节点的数据分片所在的raft组中;通过监听器节点实时读取并处理主集群节点的变更数据日志,获取对应的图空间信息和从集群上的管道节点的地址,将要同步的变更数据日志对应的图空间数据发送到管道节点,并记录日志ID;通过管道节点将图空间数据处理后发送到从集群节点,基于raft的一致性原理,完成图空间数据在从集群的数据分片间的同步。通过本申请,解决了如何在图数据库中保证数据可靠性和可用性的问题,有效地保证了集群间数据的一致性。

    分布式存储图数据的优化方法、电子装置和存储介质

    公开(公告)号:CN113254527A

    公开(公告)日:2021-08-13

    申请号:CN202110438145.X

    申请日:2021-04-22

    发明人: 吴敏 王辰光

    摘要: 本申请涉及一种分布式存储图数据的优化方法、电子装置和存储介质,其中,该分布式存储图数据的优化方法包括:定期在各数据分片所在的存储服务上扫描各数据分片中的所有边;根据各数据分片中的所有边,确定起点与终点所属的数据分片,并计算各数据分片之间的出边关联度和入边关联度;根据各数据分片之间的出边关联度和入边关联度,通过预设的关联度矩阵权重,计算各数据分片之间的相关度;将相关度高的数据分片存储在相同的存储服务上。通过本申请,解决了分布式图数据库的partition分布难以优化的问题,降低了数据调用的网络通信开销,提升了分布式图数据库的性能。

    分布式图数据库系统中的混沌工程实现方法和系统

    公开(公告)号:CN113238924A

    公开(公告)日:2021-08-10

    申请号:CN202110385220.0

    申请日:2021-04-09

    发明人: 王辰光 吴敏 陈恒

    摘要: 本申请涉及一种分布式图数据库系统中的混沌工程实现方法和系统,通过根据分布式图数据库的目标实验场景确定目标实验场景对应的目标故障类型,根据目标故障类型从多个混沌工程测试计划中获取目标混沌工程测试计划;执行目标混沌工程测试计划,获取执行结果,若执行结果不符合预期结果,则对分布式图数据库系统进行修复,执行目标混沌工程测试计划包括:根据目标混沌工程测试计划与图数据库系统进行交互,在图数据系统中制造混沌,检查图数据库系统的状态,通过不断运行混沌工程测试计划,在图数据库中制造混沌,从而发现图数据库开发过程中的故障,提高系统鲁棒性,解决了分布式图数据库系统存在很多的故障情况,鲁棒性低的问题。

    图查询语言的结果行为验证方法和系统

    公开(公告)号:CN112948610A

    公开(公告)日:2021-06-11

    申请号:CN202110212904.0

    申请日:2021-02-25

    IPC分类号: G06F16/532 G06F16/583

    摘要: 本申请涉及一种图查询语言的结果行为验证方法和系统,通过在BDD测试框架中加入词法解析器和预设词法规则,构建改进型BDD测试框架;将图查询语言标准中的第一Gherkin文本根据图查询语言的语法移植为图查询语言的第二Gherkin文本;获取改进型BDD测试框架对第二Gherkin文本的第一解析结果,第一解析结果为第二Gherkin文本的预期结果;根据第二Gherkin文本,获取图数据库的第一返回结果,获取第一解析结果和第一返回结果的比较结果,若比较结果相同,则图查询语言符合图查询语言标准,若比较结果不相同,则图查询语言不符合图查询语言标准,解决了BDD测试框架无法识别复杂Gherkin文本,功能单一的问题,也解决了无法验证图查询语言是否兼容图查询语言标准的问题,促进图数据库的发展。

    一种支持超大规模关系网络的图数据库构建方法

    公开(公告)号:CN110633378A

    公开(公告)日:2019-12-31

    申请号:CN201910763754.5

    申请日:2019-08-19

    IPC分类号: G06F16/51 G06F16/583

    摘要: 本发明公开了一种支持超大规模关系网络的图数据库构建方法,通过基于key-value式的图元素建模,将图元素切割成多个不同的图元素存储分片后存储至不同服务器,同时将每个图元素存储分片复制多份并分别存储至不同服务器,通过Raft协议保持位于不同服务器内的同一图元素存储分片的数据同步,使得构建的图数据库可以支持的图的规模更大,且其可以完全的水平扩展,服务器数量越多支持的图规模越大,同时整个图数据库的抗故障能力强,单个服务器故障时对于服务不会造成影响。

    分布式图数据库系统中的混沌工程实现方法和系统

    公开(公告)号:CN113238924B

    公开(公告)日:2023-09-15

    申请号:CN202110385220.0

    申请日:2021-04-09

    发明人: 王辰光 吴敏 陈恒

    摘要: 本申请涉及一种分布式图数据库系统中的混沌工程实现方法和系统,通过根据分布式图数据库的目标实验场景确定目标实验场景对应的目标故障类型,根据目标故障类型从多个混沌工程测试计划中获取目标混沌工程测试计划;执行目标混沌工程测试计划,获取执行结果,若执行结果不符合预期结果,则对分布式图数据库系统进行修复,执行目标混沌工程测试计划包括:根据目标混沌工程测试计划与图数据库系统进行交互,在图数据系统中制造混沌,检查图数据库系统的状态,通过不断运行混沌工程测试计划,在图数据库中制造混沌,从而发现图数据库开发过程中的故障,提高系统鲁棒性,解决了分布式图数据库系统存在很多的故障情况,鲁棒性低的问题。