-
公开(公告)号：CN110287150A
公开(公告)日：2019-09-27
申请号：CN201910405408.X
申请日：2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
Patent Agency Ranking
公开(公告)号：CN108319645B
公开(公告)日：2022-09-16
申请号：CN201711420097.1
申请日：2017-12-25
Applicant: 中国科学院信息工程研究所
IPC: G06F16/25 , G06F16/27 , G06F16/24 , G06F16/248 , G06F11/14
Abstract: 本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括：抽取异构存储环境下的多版本数据的元数据信息，利用元数据信息形成关系表结构，并利用关系型数据库对元数据进行集中存储；通过逻辑卷整合分布在不同存储位置的多版本数据，实现介质无关的多版本数据的管理与组织；利用SQL语法规则实现对元数据的访问控制与选择过滤，并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境，针对增量备份、差量备份、全量备份等不同备份策略，实现高性能的多版本文件视图管理。
-
公开(公告)号：CN108319645A
公开(公告)日：2018-07-24
申请号：CN201711420097.1
申请日：2017-12-25
Applicant: 中国科学院信息工程研究所
CPC classification number: G06F17/30557 , G06F11/1458 , G06F17/30386 , G06F17/30554 , G06F17/30575
Abstract: 本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括：抽取异构存储环境下的多版本数据的元数据信息，利用元数据信息形成关系表结构，并利用关系型数据库对元数据进行集中存储；通过逻辑卷整合分布在不同存储位置的多版本数据，实现介质无关的多版本数据的管理与组织；利用SQL语法规则实现对元数据的访问控制与选择过滤，并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境，针对增量备份、差量备份、全量备份等不同备份策略，实现高性能的多版本文件视图管理。
-
公开(公告)号：CN108388603A
公开(公告)日：2018-08-10
申请号：CN201810113980.4
申请日：2018-02-05
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q-digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。
-
公开(公告)号：CN108388603B
公开(公告)日：2022-05-17
申请号：CN201810113980.4
申请日：2018-02-05
Applicant: 中国科学院信息工程研究所
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q‑digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。
-
公开(公告)号：CN110287150B
公开(公告)日：2021-05-11
申请号：CN201910405408.X
申请日：2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
-
-
-
-
Search Results
6
records
(took 0.026 seconds)
