一种大数据的数据存储系统及方法

    公开(公告)号:CN109299154B

    公开(公告)日:2020-12-18

    申请号:CN201811453010.5

    申请日:2018-11-30

    Abstract: 本发明涉及一种大数据的数据存储系统及方法,该系统包括四层结构,其中,元数据结构层定义并存储多种元数据类型,及元数据类型的属性;元数据层按照元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;数据结构层按照元数据对象信息,定义并存储统计数据的结构关系;数据层按照统计数据的结构关系,存储统计数据。本发明基于DDI元数据标准,定义了统计数据存储的4层结构:元数据结构、元数据、数据结构和数据,从而将海量微观数据按照大数据架构进行统一存储和管理,打破数据资源整合壁垒,实现统计数据的灵活、高效存储和使用,继而很大程度上解决数据量大、结构复杂、增长速度快,以及数据分析使用困难等问题。

    一种数据查询方法和系统

    公开(公告)号:CN107832391B

    公开(公告)日:2020-08-18

    申请号:CN201711047703.X

    申请日:2017-10-31

    Abstract: 本发明实施例涉及一种数据查询方法和系统,属于大数据技术领域。该方法包括:SDL引擎中的SDL解析器对接收到的SDL指令进行解析,得到抽象语法树;SDL引擎中的SDL解释器对抽象语法树进行解析;在SDL接口将SDL引擎与数据仓库连接之后,SDL解释器通过Http协议对数据仓库中与解析后的抽象语法树对应的数据信息进行调用;SDL解释器根据数据信息和解析后的抽象语法树执行SDL指令对应的操作。通过本实施例提供的技术方案,一方面,避免了现有技术中消耗成本高,适用性单一,查询结果不够精准,且容易造成干扰的技术弊端;另一方面,实现了灵活的对数据进行查询,且准确性高,查询效率高的技术效果。

    一种大数据的数据存储系统及方法

    公开(公告)号:CN109299154A

    公开(公告)日:2019-02-01

    申请号:CN201811453010.5

    申请日:2018-11-30

    Abstract: 本发明涉及一种大数据的数据存储系统及方法,该系统包括四层结构,其中,元数据结构层定义并存储多种元数据类型,及元数据类型的属性;元数据层按照元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;数据结构层按照元数据对象信息,定义并存储统计数据的结构关系;数据层按照统计数据的结构关系,存储统计数据。本发明基于DDI元数据标准,定义了统计数据存储的4层结构:元数据结构、元数据、数据结构和数据,从而将海量微观数据按照大数据架构进行统一存储和管理,打破数据资源整合壁垒,实现统计数据的灵活、高效存储和使用,继而很大程度上解决数据量大、结构复杂、增长速度快,以及数据分析使用困难等问题。

    一种数据查询方法和系统

    公开(公告)号:CN107832391A

    公开(公告)日:2018-03-23

    申请号:CN201711047703.X

    申请日:2017-10-31

    Abstract: 本发明实施例涉及一种数据查询方法和系统,属于大数据技术领域。该方法包括:SDL引擎中的SDL解析器对接收到的SDL指令进行解析,得到抽象语法树;SDL引擎中的SDL解释器对抽象语法树进行解析;在SDL接口将SDL引擎与数据仓库连接之后,SDL解释器通过Http协议对数据仓库中与解析后的抽象语法树对应的数据信息进行调用;SDL解释器根据数据信息和解析后的抽象语法树执行SDL指令对应的操作。通过本实施例提供的技术方案,一方面,避免了现有技术中消耗成本高,适用性单一,查询结果不够精准,且容易造成干扰的技术弊端;另一方面,实现了灵活的对数据进行查询,且准确性高,查询效率高的技术效果。

    一种统计数据的整合方法及系统

    公开(公告)号:CN106547918B

    公开(公告)日:2020-06-09

    申请号:CN201611082227.0

    申请日:2016-11-30

    Abstract: 本发明涉及一种统计数据的整合方法及系统,该整合方法包括以下步骤:获取并整理元数据,按预设描述标准对元数据进行描述,得到描述信息;获取数据文件,将数据文件与描述信息进行关联,生成标准格式文件;解析标准格式文件,得到标准信息模型文件并保存。本发明的有益效果是:能够促进统计业务人员对数据进行标准化的描述,形成的描述信息又能够直接被各个计算机系统使用,从而大大提高统计数据整合的质量和效率。

    多表联动的数据处理方法、装置、设备及存储介质

    公开(公告)号:CN117171252A

    公开(公告)日:2023-12-05

    申请号:CN202311212002.2

    申请日:2023-09-19

    Abstract: 本申请涉及数据处理领域,具体而言,涉及一种多表联动的数据处理方法、装置、设备及存储介质,其处理方法包括根据所述第一数据表中的第一标记抽取所述第一数据表中的第一数据;当抽取的所述第一数据对应有第二标记时,则根据所述第二标记抽取所述第二数据表中的第二数据。在对应有第二标记时,到第二数据表中抽取与第二标记对应的第二数据。使得第一数据表和第二数据表中有关联的数据能够被一同抽取,保证了数据的及时性和一致性,提高了数据的处理质量。

Patent Agency Ranking