一种日志信息管理方法及日志抽取服务器

    公开(公告)号:CN105071966B

    公开(公告)日:2018-07-17

    申请号:CN201510487732.2

    申请日:2015-08-10

    Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。

    一种数据抽取方法及装置

    公开(公告)号:CN104182502A

    公开(公告)日:2014-12-03

    申请号:CN201410406481.6

    申请日:2014-08-18

    CPC classification number: G06F17/30563 G06F17/30595

    Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。

    一种日志信息管理方法及日志抽取服务器

    公开(公告)号:CN105071966A

    公开(公告)日:2015-11-18

    申请号:CN201510487732.2

    申请日:2015-08-10

    Abstract: 本发明提供一种日志信息管理方法及日志抽取服务器,上述方法包括以下步骤:通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志;所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储;避免了日志记录重复,实现了对增量日志存储。

    一种数据抽取方法及装置

    公开(公告)号:CN104182502B

    公开(公告)日:2017-10-27

    申请号:CN201410406481.6

    申请日:2014-08-18

    Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。

Patent Agency Ranking