-
公开(公告)号:CN105071966B
公开(公告)日:2018-07-17
申请号:CN201510487732.2
申请日:2015-08-10
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L12/24
Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。
-
公开(公告)号:CN104182502A
公开(公告)日:2014-12-03
申请号:CN201410406481.6
申请日:2014-08-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30563 , G06F17/30595
Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。
-
公开(公告)号:CN105071966A
公开(公告)日:2015-11-18
申请号:CN201510487732.2
申请日:2015-08-10
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L12/24
Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。
-
公开(公告)号:CN104361091A
公开(公告)日:2015-02-18
申请号:CN201410658038.8
申请日:2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统,所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统,基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理,极大降低了大数据系统的使用门槛,并且使组织内部大数据相关资源能方便共享,数据处理流程可复用可继承。
-
公开(公告)号:CN104182502B
公开(公告)日:2017-10-27
申请号:CN201410406481.6
申请日:2014-08-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。
-
-
-
-