-
公开(公告)号:CN112800023B
公开(公告)日:2023-01-10
申请号:CN202011473262.1
申请日:2020-12-11
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
Abstract: 本发明涉及一种基于语义分类的多模型数据分布式存储和分级查询方法,其中,包括:多模型数据语义分类存储,数据查询及查询词的管理,分布式主备数据迁移及二级索引的更新;多模型数据语义分类存储包括:进行存储初步语义分类;进行索引初始化;进行索引存储,将二级索引每个节点以键值对的方式添加到分布式元数据节点内存中的索引类中,供其他节点在查询时不知道数据所在节点、数据库或类时使用;一级索引由节点本地数据库保存;进行多模型数据分类存储;进行数据语义查询和数据库查询;进行查询词的管理。本发明减少了查询时需要具体访问的节点数量,降低了查询的通信开销。
-
公开(公告)号:CN112000851B
公开(公告)日:2023-03-28
申请号:CN202010883469.X
申请日:2020-08-28
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC: G06F16/901
Abstract: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN112507026B
公开(公告)日:2022-12-30
申请号:CN202011467318.2
申请日:2020-12-11
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
IPC: G06F16/27 , G06F16/22 , G06F16/28 , G06F16/31 , G06F16/901
Abstract: 本发明涉及一种基于键值、文档和图数据的分布式高速存储方法,其中,包括:从数据库或其它数据源获取键值、文档和图数据;对于数据进行分布式管理和数据分区,包括:数据存储到内存中,若收到查询和计算请求,应用程序从内存中查询数据,并在内存中进行计算;若原有管理节点离开集群,将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点,新的管理节点再广播,进行数据迁移和分区表更新,若有普通节点新加入或离开集群,管理节点广播,再进行数据迁移和分区表更新。本发明分布式框架支持弹性扩展,数据自动均衡。增加集群节点数可以线性扩展高速存储空间和数据量。
-
公开(公告)号:CN112000851A
公开(公告)日:2020-11-27
申请号:CN202010883469.X
申请日:2020-08-28
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC: G06F16/901
Abstract: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN112800023A
公开(公告)日:2021-05-14
申请号:CN202011473262.1
申请日:2020-12-11
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
Abstract: 本发明涉及一种基于语义分类的多模型数据分布式存储和分级查询方法,其中,包括:多模型数据语义分类存储,数据查询及查询词的管理,分布式主备数据迁移及二级索引的更新;多模型数据语义分类存储包括:进行存储初步语义分类;进行索引初始化;进行索引存储,将二级索引每个节点以键值对的方式添加到分布式元数据节点内存中的索引类中,供其他节点在查询时不知道数据所在节点、数据库或类时使用;一级索引由节点本地数据库保存;进行多模型数据分类存储;进行数据语义查询和数据库查询;进行查询词的管理。本发明减少了查询时需要具体访问的节点数量,降低了查询的通信开销。
-
公开(公告)号:CN112507026A
公开(公告)日:2021-03-16
申请号:CN202011467318.2
申请日:2020-12-11
Applicant: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
IPC: G06F16/27 , G06F16/22 , G06F16/28 , G06F16/31 , G06F16/901
Abstract: 本发明涉及一种基于键值、文档和图数据的分布式高速存储方法,其中,包括:从数据库或其它数据源获取键值、文档和图数据;对于数据进行分布式管理和数据分区,包括:数据存储到内存中,若收到查询和计算请求,应用程序从内存中查询数据,并在内存中进行计算;若原有管理节点离开集群,将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点,新的管理节点再广播,进行数据迁移和分区表更新,若有普通节点新加入或离开集群,管理节点广播,再进行数据迁移和分区表更新。本发明分布式框架支持弹性扩展,数据自动均衡。增加集群节点数可以线性扩展高速存储空间和数据量。
-
-
-
-
-