公开(公告)号：CN108255712B

公开(公告)日：2021-05-14

申请号：CN201711486827.8

申请日：2017-12-29

Applicant: 曙光信息产业(北京)有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 郭庆 ,  付戈 ,  刘倩 ,  狄静舒 ,  张建磊

IPC: G06F11/36

Abstract: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括：用户层，用于为用户提供访问所述测试系统的方式；中间应用层，用于从所述用户层接收所述用户提交的请求，并且对于底层大数据平台协调多个任务进行请求的解析和处理；以及底层大数据平台，为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库，其中，所述中间应用层进一步包括数据访问接口，用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索，针对大数据软件的特点，提供了全面完善的测试系统。

公开(公告)号：CN108255712A

公开(公告)日：2018-07-06

申请号：CN201711486827.8

申请日：2017-12-29

Applicant: 曙光信息产业(北京)有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 郭庆 ,  付戈 ,  刘倩 ,  狄静舒 ,  张建磊

IPC: G06F11/36

Abstract: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括：用户层，用于为用户提供访问所述测试系统的方式；中间应用层，用于从所述用户层接收所述用户提交的请求，并且对于底层大数据平台协调多个任务进行请求的解析和处理；以及底层大数据平台，为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库，其中，所述中间应用层进一步包括数据访问接口，用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索，针对大数据软件的特点，提供了全面完善的测试系统。

公开(公告)号：CN103106286A

公开(公告)日：2013-05-15

申请号：CN201310068332.9

申请日：2013-03-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 王颖 ,  宋怀明 ,  狄静舒 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种元数据的管理方法和装置，其中，该方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。本发明通过将元数据配置为多个集合的形式保存到节点中，再对用户提供服务，能够整合元数据的资源，优化元数据的存储结构，从而提高对元数据节点进行更新的效率，并且由于采用了全复制的方式，减少了数据丢失，进而提高了分布式数据存储系统的资源利用率。

公开(公告)号：CN105550274B

公开(公告)日：2019-01-25

申请号：CN201510908947.7

申请日：2015-12-10

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒

IPC: G06F16/903

Abstract: 本发明提供了一种双副本并行数据库的查询方法和装置，属于数据库技术领域。方法包括：获取查询请求及数据的存储单元信息；根据查询请求及数据的存储单元信息形成多个执行计划；根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率；根据资源占用率从执行计划中选择一个执行计划；根据选择的执行计划查询数据。本发明根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率，根据资源占用率从执行计划中选择一个执行计划，由于资源占用情况影响数据转移耗时及数据查询效率，使得最终查询时执行计划的数据转移耗时短，数据查询效率高。

公开(公告)号：CN104462362B

公开(公告)日：2018-03-06

申请号：CN201410743372.3

申请日：2014-12-08

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  惠润海 ,  宋怀明

IPC: G06F17/30

Abstract: 本发明提供了一种数据存储、查询、加载方法及装置，在进行用户数据存储时，为用户数据创建对象，对象包括用户数据本身以及用户数据的属性信息，且每个对象具有对应的对象标识；将用户数据的属性信息存入元数据库中，根据用户数据的属性信息将其写入相应的底层存储系统，元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联；在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询；在用户数据的数据类型需要改变时，修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案，可以在不改变软件结构的情况下，更好的适应数据结构的变化。

公开(公告)号：CN104462362A

公开(公告)日：2015-03-25

申请号：CN201410743372.3

申请日：2014-12-08

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  惠润海 ,  宋怀明

IPC: G06F17/30

CPC classification number: G06F17/30563

Abstract: 本发明提供了一种数据存储、查询、加载方法及装置，在进行用户数据存储时，为用户数据创建对象，对象包括用户数据本身以及用户数据的属性信息，且每个对象具有对应的对象标识；将用户数据的属性信息存入元数据库中，根据用户数据的属性信息将其写入相应的底层存储系统，元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联；在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询；在用户数据的数据类型需要改变时，修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案，可以在不改变软件结构的情况下，更好的适应数据结构的变化。

公开(公告)号：CN103123652A

公开(公告)日：2013-05-29

申请号：CN201310082063.1

申请日：2013-03-14

Applicant: 曙光信息产业(北京)有限公司

Inventor： 宋怀明 ,  狄静舒 ,  王勇 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种集群数据库系统，包括查询解析器和多个数据库节点。查询解析器，用于对接收到的查询请求进行解析，分解成查询任务流并产生执行规则；以及，根据执行规则将查询任务流中的一个或多个查询任务分配给相应的各数据库节点。数据库节点，用于在接收到所分配的查询任务后，根据执行规则与其他相关联数据库节点一起并行执行相对应的查询任务；以及，将其执行某一查询任务得到的查询数据与其他相关联数据库节点执行同一查询任务得到的查询数据合并得到查询结果数据，该数据是与查询请求对应的最终查询结果数据，或者，是用作执行下一查询任务的输入数据以便多个数据库节点根据执行规则执行完查询任务流后得到最终查询结果数据。

公开(公告)号：CN113297155A

公开(公告)日：2021-08-24

申请号：CN202110562353.0

申请日：2021-05-21

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  郭庆 ,  谢莹莹 ,  宋怀明

IPC: G06F16/174 ,  G06F16/22

Abstract: 本申请提供一种数据存储方法、装置及可读存储介质，涉及数据处理技术领域。该方法通过获取待写入目标属性字段下的目标数据，然后采用该属性字段对应的压缩方法对目标数据进行压缩，实现以属性值为单位进行数据压缩，使得在读取某个数据时，可以大大降低数据的读取开销，提升数据的读取性能。并且，通过设置对应关系表来存储各个属性字段对应的压缩方法和压缩参数信息，这样可以针对一张表中的不同属性字段设置不同的压缩方法，或设置相同的压缩方法不同的压缩参数信息，并在属性字段值中存储压缩方法ID，从而可实现针对同行不同列的属性值、同列不同行的属性值采用不同的压缩方法进行压缩，使得压缩更加灵活。

公开(公告)号：CN105550274A

公开(公告)日：2016-05-04

申请号：CN201510908947.7

申请日：2015-12-10

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒

IPC: G06F17/30

CPC classification number: G06F17/30445

Abstract: 本发明提供了一种双副本并行数据库的查询方法和装置，属于数据库技术领域。方法包括：获取查询请求及数据的存储单元信息；根据查询请求及数据的存储单元信息形成多个执行计划；根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率；根据资源占用率从执行计划中选择一个执行计划；根据选择的执行计划查询数据。本发明根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率，根据资源占用率从执行计划中选择一个执行计划，由于资源占用情况影响数据转移耗时及数据查询效率，使得最终查询时执行计划的数据转移耗时短，数据查询效率高。

公开(公告)号：CN103345500A

公开(公告)日：2013-10-09

申请号：CN201310269860.0

申请日：2013-06-28

Applicant: 曙光信息产业(北京)有限公司

Inventor： 宋怀明 ,  狄静舒 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种数据处理装置，包括数据库连接池管理器和执行单元。数据库连接池管理器包括获取单元，用于执行以下操作：获取集群数据库系统中的数据库节点与数据库连接池的映射关系，其中，在所述映射关系中多个数据库节点对应至少两个数据库连接池；根据所述映射关系以及要管理的数据库节点获取对应的数据库连接池；以及，从所获取的数据库连接池获取可用的数据库节点连接。执行单元，通过所获取的数据库节点连接对要管理的数据库节点进行相应的数据库操作。相应地，本发明还提供了一种数据处理方法。采用本发明，可以实现对集群数据库系统的多个数据库节点的连接管理，有利于提高对各数据库节点的操作性能。