-
公开(公告)号:CN118779337A
公开(公告)日:2024-10-15
申请号:CN202410991124.4
申请日:2024-07-23
Applicant: 之江实验室
IPC: G06F16/242 , G06F16/2455 , G06F16/27
Abstract: 本发明公开了一种用于数据聚合的EFK日志采集分析方法。本方法在数据采集、处理、存储和可视化等多个关键环节进行了深度优化。在数据采集层面,通过Agent与Filebeat工具对系统日志、容器日志及硬件资源数据的全面采集,同时,引入Kafka工具构建高性能缓冲机制;本方法集成了Flink作为流处理引擎,利用其强大的实时计算能力,提升数据处理的时效性与准确性。此外,通过双存储策略,即结合ElasticSearch与ClickHouse的优势,既满足了灵活搜索的需求,又确保了高效统计分析的能力,从而优化了整体分析效率。本发明借助ZooKeeper保障了配置的一致性,并通过Kibana提供了直观、友好的数据观测与分析界面,极大地简化了操作流程,提升了用户体验。