一种基于数据仓库的数据开发方法及系统

    公开(公告)号:CN111259068A

    公开(公告)日:2020-06-09

    申请号:CN202010346796.1

    申请日:2020-04-28

    Abstract: 本发明公开了一种基于数据仓库的数据开发方法及系统,包括以下步骤:S1、将元数据加载到hive中;S2、在hive上进行数据开发;S3、将步骤S2中数据开发的结果表同步到目标数据库中。本方案通过将元数据加载到hive中,在通过现有的python、SQL等技术在hive上进行数据开发,由于python、SQL等技术是较为现有的技术,因此,技术人员可以根据项目的实际情况对数据开发的流程进行配置调整,同时所需要使用的组件大部分是开源社区免费支持的,各组件可以较为便捷升级版本,达到更好的性能和功能的提升。解决了现有的数据库开发平台扩展性、适应性较差的问题。

    一种动态OID推送数据采集方法及装置

    公开(公告)号:CN111209405A

    公开(公告)日:2020-05-29

    申请号:CN202010319483.7

    申请日:2020-04-22

    Abstract: 本发明公开了一种动态OID推送数据采集方法及装置,基于SNMP OID数据采集管理系统,现有方案依靠手动配置OID信息进行数据的采集,一方面会加重用户的工作量,配置易出错;另一方面不够灵活,不能根据系统实际运行情况进行动态OID推荐,易出现对系统监控不完善,监控行为刻板的缺点。本方案根据每次请求的OID返回的数据集进行建模、消除人工干预,同时根据模型预测出相关联的OID进行OID动态推送,弥补了单纯使用手动进行配置OID的缺陷;本方案是构建智能运维分析系统必不可少的环节之一。

    一种基于Siddhi存储数据到Hbase的方法及装置

    公开(公告)号:CN113220766A

    公开(公告)日:2021-08-06

    申请号:CN202110566060.X

    申请日:2021-05-24

    Abstract: 本发明公开了一种基于Siddhi存储数据到Hbase的方法及装置,主要解决现有技术中存在的现有流数据存储对技术和环境要求高的问题。该一种基于Siddhi存储数据到Hbase的方法为预设整个SiddhiQL语句中的参数;然后继承Siddhi的Sink抽象类,实现其中的核心抽象方法,将自定义Sink框架搭建完成;再然后通过触发条件批量将流数据存入Hbase中。通过上述方案,本发明达到了降低流数据存储所需技术要去和环境要求的目的,具有很高的实用价值和推广价值。

    数据检索方法及装置
    14.
    发明授权

    公开(公告)号:CN109063215B

    公开(公告)日:2020-10-30

    申请号:CN201811204939.4

    申请日:2018-10-16

    Abstract: 本发明涉及数据检索技术领域,提供一种数据检索方法及装置。其中,数据检索方法应用于与前端通信连接的后台,具体包括:从前端获得检索内容以及索引类别,索引类别在索引类别配置中记录;查找获得与索引类别关联的至少一个索引,索引类别与索引的关联关系在索引配置中记录;查找获得与索引关联的至少一个数据对象,索引与数据对象的关联关系在索引策略配置中记录;查找获得与数据对象关联的至少一个属性,数据对象与属性的关联关系在数据对象配置中记录;判断至少一个属性中是否存在与检索内容相匹配的属性。该方法检索效率高,支持对数据进行多维度、多条件的检索,同时支持数据的分类管理。

    一种基于内存数据库的数据存储方法及装置

    公开(公告)号:CN111767289A

    公开(公告)日:2020-10-13

    申请号:CN202010909904.1

    申请日:2020-09-02

    Abstract: 本发明公开了一种基于内存数据库的数据存储方法及装置,主要解决现有技术中存在的现有内存数据库数据查询时,需要在内存中筛选需要的数据,读取出很多无用的数据,造成读放大,浪费资源的问题。该一种基于内存数据库的数据存储方法包括以下步骤:按设定列数量将数据分块后存储;建立多级索引,各级索引内均建立反向索引。通过上述方案,本发明达到了避免无用数据的检索,减小读放大,减少内存消耗的目的,具有很高的实用价值和推广价值。

    一种SQL高效计算和访问的方法、组件及系统

    公开(公告)号:CN110781212A

    公开(公告)日:2020-02-11

    申请号:CN201910892123.3

    申请日:2019-09-20

    Abstract: 本发明公开了一种SQL高效计算和访问的方法、组件及系统,本技术方案将会修改CALCITE源码来实现元数据和汇总表的物理存储,将元数据和汇总表存储在外储存器,利用外储存器断电后数据不会丢失的特性,解决CALCITE服务停止运行带来的影响,同时,由于CALCITE解析得到的元数据被同时存储在RAM和外储存器中,当CALCITE接收到处理过的SQL语句时,在系统没出现过停止运行的情况下可以直接读取RAM中的元数据,根据元数据在外储存器中匹配执行结果;即使系统出现过停止运行的情况,也可以直接读取外储存器中的元数据,根据元数据在外储存器中匹配执行结果。

    计划优化方法、装置、系统及计算机可读存储介质

    公开(公告)号:CN110059107A

    公开(公告)日:2019-07-26

    申请号:CN201910322178.0

    申请日:2019-04-19

    Abstract: 本发明提供了一种计划优化方法、装置、系统及计算机可读存储介质,涉及大数据技术领域,该方法包括:根据预设的计划查询节点对本地计划的状态进行查询;当查询到准备执行本地计划时,基于本地计划中预设的分区参数确定按照自适应优化规则在分区中执行本地计划;其中,自适应优化规则为基于可配置的数据处理门限和计划执行过程中的元数据对计划进行重新分区的规则;基于自适应优化规则,采集本地计划在各分区执行过程中的元数据,根据采集到的元数据和数据处理门限对本地计划的执行分区进行优化。本发明可以实现对计划的动态调整,改善各分区处理数据倾斜的问题,从而提高集群资源利用率和SQL的运行性能。

    配置、安装方法及配置装置

    公开(公告)号:CN109542470A

    公开(公告)日:2019-03-29

    申请号:CN201811419390.0

    申请日:2018-11-26

    Abstract: 本申请提供一种配置、安装方法及配置装置,应用于运维平台,该运维平台与多个待配置服务器连接,该配置方法包括:获取待配置文件;根据设定的配置对象规则以及该待配置文件中的初始数据进行产品信息配置,得到与该初始数据关联的业务模型,该业务模型用于表示产品、组件、服务之间的关联关系;根据该业务模型展示操作界面;响应对该操作界面的选中操作,获取该选中操作得到的目标产品、目标组件,根据待配置的目标服务器以及选中的该目标组件生成目标服务,该目标服务表示需要向该目标服务器安装的服务;获取配置参数以对该目标服务进行参数配置,得到产品定义文件,其中,该产品定义文件中包括能够执行产品安装任务的任务脚本。

    数据检索方法及装置
    20.
    发明公开

    公开(公告)号:CN109063215A

    公开(公告)日:2018-12-21

    申请号:CN201811204939.4

    申请日:2018-10-16

    Abstract: 本发明涉及数据检索技术领域,提供一种数据检索方法及装置。其中,数据检索方法应用于与前端通信连接的后台,具体包括:从前端获得检索内容以及索引类别,索引类别在索引类别配置中记录;查找获得与索引类别关联的至少一个索引,索引类别与索引的关联关系在索引配置中记录;查找获得与索引关联的至少一个数据对象,索引与数据对象的关联关系在索引策略配置中记录;查找获得与数据对象关联的至少一个属性,数据对象与属性的关联关系在数据对象配置中记录;判断至少一个属性中是否存在与检索内容相匹配的属性。该方法检索效率高,支持对数据进行多维度、多条件的检索,同时支持数据的分类管理。

Patent Agency Ranking