一种大数据的数据存储系统及方法

    公开(公告)号:CN109299154B

    公开(公告)日:2020-12-18

    申请号:CN201811453010.5

    申请日:2018-11-30

    Abstract: 本发明涉及一种大数据的数据存储系统及方法,该系统包括四层结构,其中,元数据结构层定义并存储多种元数据类型,及元数据类型的属性;元数据层按照元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;数据结构层按照元数据对象信息,定义并存储统计数据的结构关系;数据层按照统计数据的结构关系,存储统计数据。本发明基于DDI元数据标准,定义了统计数据存储的4层结构:元数据结构、元数据、数据结构和数据,从而将海量微观数据按照大数据架构进行统一存储和管理,打破数据资源整合壁垒,实现统计数据的灵活、高效存储和使用,继而很大程度上解决数据量大、结构复杂、增长速度快,以及数据分析使用困难等问题。

    一种基于云的可视化数据处理方法及系统

    公开(公告)号:CN109582837A

    公开(公告)日:2019-04-05

    申请号:CN201811453016.2

    申请日:2018-11-30

    Abstract: 本发明涉及一种基于云的可视化数据处理方法及系统,其中的方法包括:根据用户输入的模型创建指令,在云端创建分析模型;当接收到用户触发用于提取数据的可视化图形元件的指令时,从数据库中提取并保存数据,以可视化图形元件的形式进行显示;当接收到用户触发用于处理数据的可视化图形元件的指令时,对第一数据块中的数据进行处理后,保存处理结果并以可视化图形元件的形式进行显示。本发明充分利用了云存储的优势,首先,它将海量数据统一存储在云端,进行集中安全管理。其次,提供统一的可视化界面,用户不需要知道数据存储在哪里、以什么方式存储的,只需要在界面上进行简单的操作就可以进行数据处理工作,大大提高了工作效率。

    一种统一接口的数据查询方法及系统

    公开(公告)号:CN109542954A

    公开(公告)日:2019-03-29

    申请号:CN201811453009.2

    申请日:2018-11-30

    Abstract: 本发明涉及一种统一接口的数据查询方法及系统,该方法包括:当接收到UDI指令时,UDI终端将UDI指令作为post参数传入SDL引擎中;SDL引擎将UDI指令转换成数据库查询指令并执行查询操作,将查询得到的数据集返回给UDI终端;UDI终端根据用户选择的接入方式,调用相应的函数,将查询得到的数据集导出为与用户选择的接入方式对应格式的数据文件。本发明通过数据应用工具的建设,屏蔽了统计业务人员和外部系统对数据仓库的直接操作,保证了数据仓库的数据安全性;在统计业务基础上设计的UDI,降低了统计业务人员操作数据的难度;屏蔽了查询数据仓库中不同格式数据的兼容性。

    一种大数据的数据存储系统及方法

    公开(公告)号:CN109299154A

    公开(公告)日:2019-02-01

    申请号:CN201811453010.5

    申请日:2018-11-30

    Abstract: 本发明涉及一种大数据的数据存储系统及方法,该系统包括四层结构,其中,元数据结构层定义并存储多种元数据类型,及元数据类型的属性;元数据层按照元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;数据结构层按照元数据对象信息,定义并存储统计数据的结构关系;数据层按照统计数据的结构关系,存储统计数据。本发明基于DDI元数据标准,定义了统计数据存储的4层结构:元数据结构、元数据、数据结构和数据,从而将海量微观数据按照大数据架构进行统一存储和管理,打破数据资源整合壁垒,实现统计数据的灵活、高效存储和使用,继而很大程度上解决数据量大、结构复杂、增长速度快,以及数据分析使用困难等问题。

    基于机器学习的变量自动分类方法及系统

    公开(公告)号:CN112381143A

    公开(公告)日:2021-02-19

    申请号:CN202011272803.4

    申请日:2020-11-13

    Abstract: 本发明公开了一种基于机器学习的变量自动分类方法及系统,涉及信息处理技术领域。该方法包括:获取待处理的报表,提取报表的文本信息;从本文对象中提取文本信息,利用预设的分词算法将文本信息拆分成词语,从词语中提取变量特征词;从词性识别对象中提取变量特征词,将提取的变量特征词与变量词库中的变量进行比较,形成用于抽取特征词的分类规则;根据分类规则将变量特征词抽取到对应的变量块中。本发明提供的变量自动分类方法基于机器学习实现,适用于统计类报表的变量自动分类,实现了利用机器学习创建变量自动分类的方法,可以解决在数据统计过程中繁琐复杂的变量识别工作。

Patent Agency Ranking