公开(公告)号：CN112685419B

公开(公告)日：2021-09-10

申请号：CN202011622773.5

申请日：2020-12-31

Applicant: 北京赛思信安技术股份有限公司

Inventor： 谢铭 ,  蒲路 ,  孟宪文

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/2458 ,  G06F16/27 ,  G06F9/54

Abstract: 本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法，属于分布式图数据库领域，首先构建分布式结构；创建两个空的分布式队列；然后，实时接收数据并解析后存入队列一中；数据处理模块逐条取出，调用分布式索引模块中存在对应ID的数据加载到图数据库中，并将无法调用ID的点的唯一标志存入队列二中，点处理模块判断能否获取各标志对应的ID，如果能，则继续获取下一个进行判断；否则，将各标志加载到图数据库中，并产生对应的ID；同时将S与ID的对应关系保存；集群管理模块找寻主节点，并对各子节点分发任务，各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。

公开(公告)号：CN112685419A

公开(公告)日：2021-04-20

申请号：CN202011622773.5

申请日：2020-12-31

Applicant: 北京赛思信安技术股份有限公司

Inventor： 谢铭 ,  蒲路 ,  孟宪文

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/2458 ,  G06F16/27 ,  G06F9/54

Abstract: 本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法，属于分布式图数据库领域，首先构建分布式结构；创建两个空的分布式队列；然后，实时接收数据并解析后存入队列一中；数据处理模块逐条取出，调用分布式索引模块中存在对应ID的数据加载到图数据库中，并将无法调用ID的点的唯一标志存入队列二中，点处理模块判断能否获取各标志对应的ID，如果能，则继续获取下一个进行判断；否则，将各标志加载到图数据库中，并产生对应的ID；同时将S与ID的对应关系保存；集群管理模块找寻主节点，并对各子节点分发任务，各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。

公开(公告)号：CN112347044A

公开(公告)日：2021-02-09

申请号：CN202011247634.9

申请日：2020-11-10

Applicant: 北京赛思信安技术股份有限公司

Inventor： 孟宪文

IPC: G06F16/13 ,  G06F16/16 ,  G06F16/172 ,  G06F16/182 ,  G06F3/06

Abstract: 本发明是一种基于SPDK的对象存储优化方法，属于数据存储技术领域。本发明方法包括：配置对象存储系统至少包含3台服务器，每台服务器至少配有1块SSD盘及多块HDD盘，并在对象存储系统安装好SPDK(存储性能开发工具包)驱动库；对象存储系统启动并初始化，自动配置好索引数据的SSD盘和对象数据的HDD盘；上层业务通过对象存储系统的类S3接口写入或读取对象数据；在写入时，对象的索引信息通过SPDK的文件写入接口操作磁盘直接持久化到SSD盘，对象的content通过Linux文件系统接口直接持久化到HDD盘。采用本发明方法提高了对象存储系统的响应速率，提高了对象存储的整体性能，实现了成本和性能的权衡。