公开(公告)号：CN111949633B

公开(公告)日：2021-11-30

申请号：CN202010767753.0

申请日：2020-08-03

Applicant: 杭州电子科技大学

Inventor： 蒋从锋 ,  张开强 ,  欧东阳 ,  闫龙川 ,  殷昱煜 ,  张纪林 ,  黄震 ,  赵子岩 ,  李妍

IPC: G06F16/21 ,  G06F9/54 ,  G06F16/2455 ,  H04L12/24

Abstract: 本发明公开了一种基于并行流处理的ICT系统运行日志分析方法。本发明建立的基于RDMA的并行分布式日志处理平台，当数据流在Spark集群中传输时，数据流直接从本地节点内存传输到目的节点内存，不需要通信双方操作系统的介入，大大降低了CPU占用率和网络时延。提出的在线日志流解析方法，设置了缓存模板集，经过两次过滤和结果汇总后的筛错重解析，显著增强了日志解析算法的准确性和鲁棒性。日志解析结果汇总后，通过基于元数据映射的结构化日志压缩方法，将所有元数据顺序编码，映射关系字典存储，将元数据编码映射后直接压缩，显著降低了日志存储空间。

公开(公告)号：CN111949633A

公开(公告)日：2020-11-17

申请号：CN202010767753.0

申请日：2020-08-03

Applicant: 杭州电子科技大学

Inventor： 蒋从锋 ,  张开强 ,  欧东阳 ,  闫龙川 ,  殷昱煜 ,  张纪林 ,  黄震 ,  赵子岩 ,  李妍

IPC: G06F16/21 ,  G06F9/54 ,  G06F16/2455 ,  H04L12/24

Abstract: 本发明公开了一种基于并行流处理的ICT系统运行日志分析方法。本发明建立的基于RDMA的并行分布式日志处理平台，当数据流在Spark集群中传输时，数据流直接从本地节点内存传输到目的节点内存，不需要通信双方操作系统的介入，大大降低了CPU占用率和网络时延。提出的在线日志流解析方法，设置了缓存模板集，经过两次过滤和结果汇总后的筛错重解析，显著增强了日志解析算法的准确性和鲁棒性。日志解析结果汇总后，通过基于元数据映射的结构化日志压缩方法，将所有元数据顺序编码，映射关系字典存储，将元数据编码映射后直接压缩，显著降低了日志存储空间。