基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020A

    公开(公告)日:2021-04-09

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

    基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020B

    公开(公告)日:2022-03-18

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

Patent Agency Ranking