-
公开(公告)号：CN106407224A
公开(公告)日：2017-02-15
申请号：CN201510466697.6
申请日：2015-07-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例公开了一种键值存储系统中文件压实的方法和装置，涉及数据处理技术领域，用以减少执行压实操作时所需要占用的I/O带宽和内存资源，从而使得在执行压实操作的过程中，不影响执行其他操作的速率，以提升用户体验。本发明实施例提供的方法包括：根据待压实SSTable对应的Delete Log，对待压实SSTable进行压实，生成新的SSTable；其中，该Delete Log中记录有待压实SSTable中保存的键值存储KV-Store系统中的非最新Value所对应的Key，该新的SSTable中不包含该Delete Log中的Key对应的Key-Value对；删除待压实SSTable。
-
公开(公告)号：CN106933882B
公开(公告)日：2020-09-29
申请号：CN201511028360.3
申请日：2015-12-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F16/21
Abstract: 本发明实施例提供了一种大数据计算方法和装置，实现了大数据计算。该方法包括：根据增量数据、每一个计算步骤的增量传递规则以及每一个计算步骤需要保存的必要数据，计算出大数据计算的增量输出结果，其中，该必要数据包括完整输入、完整输出中的至少一项，每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据每一个计算步骤的增量传递规则进行保存；根据增量输出结果与大数据计算的原始输出结果，确定最终计算结果。将大数据计算分为至少两个计算步骤，通过每一个计算步骤的增量传递规则，以细粒度的方式进行大数据的增量计算，从而提升了大数据增量计算的效率。
-
公开(公告)号：CN106407224B
公开(公告)日：2019-09-13
申请号：CN201510466697.6
申请日：2015-07-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F16/174
Abstract: 本发明实施例公开了一种键值存储系统中文件压实的方法和装置，涉及数据处理技术领域，用以减少执行压实操作时所需要占用的I/O带宽和内存资源，从而使得在执行压实操作的过程中，不影响执行其他操作的速率，以提升用户体验。本发明实施例提供的方法包括：根据待压实SSTable对应的Delete Log，对待压实SSTable进行压实，生成新的SSTable；其中，该Delete Log中记录有待压实SSTable中保存的键值存储KV‑Store系统中的非最新Value所对应的Key，该新的SSTable中不包含该Delete Log中的Key对应的Key‑Value对；删除待压实SSTable。
-
公开(公告)号：CN106933882A
公开(公告)日：2017-07-07
申请号：CN201511028360.3
申请日：2015-12-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供了一种大数据计算方法和装置，实现了大数据计算。该方法包括：根据增量数据、每一个计算步骤的增量传递规则以及每一个计算步骤需要保存的必要数据，计算出大数据计算的增量输出结果，其中，该必要数据包括完整输入、完整输出中的至少一项，每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据每一个计算步骤的增量传递规则进行保存；根据增量输出结果与大数据计算的原始输出结果，确定最终计算结果。将大数据计算分为至少两个计算步骤，通过每一个计算步骤的增量传递规则，以细粒度的方式进行大数据的增量计算，从而提升了大数据增量计算的效率。
-
公开(公告)号：CN117407378A
公开(公告)日：2024-01-16
申请号：CN202311176149.0
申请日：2023-09-12
Applicant: 中国科学院计算技术研究所 , 北京三快在线科技有限公司
Abstract: 本发明为一种非易失存储的异构引擎分布式数据库架构构建方法与装置，包括以下步骤：构建根节点服务器；构建结构化操作服务器，用于解析结构化查询语言；构建分布式异构存储引擎服务器，其中，又包括：构建至少一个外存储引擎节点服务器，包括：构建至少一个外存储引擎节点；构建至少一个非易失存储引擎节点服务器，包括：构建至少一个非易失存储引擎节点；所述根节点服务器保存所述外存储引擎节点和所述非易失存储引擎节点的元信息和数据分片元信息；所述根节点服务器收集所述外存储引擎节点服务器和所述非易失存储引擎节点服务器的性能统计数据；根节点服务器根据所述性能统计数据和数据分片元信息对分布数据分片制定调度策略。
-
Patent Agency Ranking
公开(公告)号：CN107066551B
公开(公告)日：2020-04-03
申请号：CN201710179108.5
申请日：2017-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06F16/80
Abstract: 本发明提出一种树状结构数据的行式和列式存储的方法及系统。使用该方法支持对树状结构的文本数据读取并解析为行式或者列式的二进制格式进行存储。其中在解析的过程中，动态生成语法树，存储半结构化数据的定义；在查询过程中，STEED通过语法树中读取原有数据的相关结构信息，结合二进制数据中的内容完成查询相关的操作。如上所述的行式存储结构以记录为单位，内部定义了嵌套子结构表示半结构化数据的嵌套和重复域；如上所述的列式存储以语法树中从根到叶子节点的每条路径为单位，将全部记录中这条路径的值及其结构信息进行单独存储。本发明通过对半结构化数据存储结构的分析，简化了数据存储的结构并提高了其存储效率。
-
公开(公告)号：CN107066551A
公开(公告)日：2017-08-18
申请号：CN201710179108.5
申请日：2017-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提出一种树状结构数据的行式和列式存储的方法及系统。使用该方法支持对树状结构的文本数据读取并解析为行式或者列式的二进制格式进行存储。其中在解析的过程中，动态生成语法树，存储半结构化数据的定义；在查询过程中，STEED通过语法树中读取原有数据的相关结构信息，结合二进制数据中的内容完成查询相关的操作。如上所述的行式存储结构以记录为单位，内部定义了嵌套子结构表示半结构化数据的嵌套和重复域；如上所述的列式存储以语法树中从根到叶子节点的每条路径为单位，将全部记录中这条路径的值及其结构信息进行单独存储。本发明通过对半结构化数据存储结构的分析，简化了数据存储的结构并提高了其存储效率。
-
公开(公告)号：CN111046630B
公开(公告)日：2021-07-20
申请号：CN201911240324.1
申请日：2019-12-06
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种JSON数据的语法树提取方法，包括：对给定的数据集中的JSON数据进行采样，记录JSON记录结构树；遍历所有的JSON记录结构树以累加生成一个统计结构树；遍历统计结构树中每个节点的计数器，将JSON记录中的域划分为稀疏域和非稀疏域；将特征相同的稀疏域归类到一起，形成相同特征的域的归类；基于非稀疏域、相同特征的域的归类生成语法树的初始状态：根据语法树的初始状态，对给定的数据集中的所有JSON记录逐条进行解析，动态构建数据集对应的语法树。本发明通过对JSON数据记录(Record)中的稀疏的域按照特征进行归类，提高了语法树的组织效率；通过对具有相同特征的域进行归类，减少了解析后的数据的列式文件数量，从而提高了在后续查询过程中的效率。
-
公开(公告)号：CN112597254A
公开(公告)日：2021-04-02
申请号：CN202011439569.X
申请日：2020-12-07
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种面向混合DRAM‑NVM主存的联机事务型数据库系统，包括：用于缓存数据的DRAM和用于持久存储数据的NVM；NVM通过第一数据表记录NVM中存储的多个数据元组，用于事务处理并发控制的元信息仅保存在DRAM中，即NVM中该数据元组不保存并发控制的元信息，根据访问任务将该数据元组以元组为粒度缓存至DRAM，且在数据元组缓存至DRAM时为每个数据元组增加并发控制元信息，DRAM通过第二数据表记录数据元组及其对应的并发控制元信息；该联机事务型数据库系统还包括混合数据表，该混合数据表包括该第一数据表、该第二数据表，以及用于管理该第一数据表和第二数据表的管理模块。
-
公开(公告)号：CN117112623A
公开(公告)日：2023-11-24
申请号：CN202311042199.X
申请日：2023-08-17
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2455 , G06F16/2453 , G06F16/22
Abstract: 本发明公开了一种面向混合主存优化的基于外存的分析型数据库系统，该系统采用持久性内存NVM和易失性内存DRAM的混合主存存储结构，包括：Buffer单元，配置为用于数据缓存，该Buffer单元又包含：第一缓存模块，配置为用于缓存扫描运算所读取的数据页，第二缓存模块，配置为用于缓存点查询运算所读取的数据页；Heap单元，配置为用于存储中间数据结构，该Heap单元又包含：第一子存储模块，配置为NVM用于放置中间数据结构，第二子存储模块，配置为DRAM用于放置中间数据结构；所述第一子存储模块、第二子存储模块依据预设的放置策略存储中间数据结构。本发明在具有DRAM‑NVM混合主存和外存的服务器机器中，利用NVM优化基于外存的分析型数据库系统，提高了系统性能。
-
-
-
-
-
-
-
-
-
Search Results
23
records
(took 0.054 seconds)
