网络信息采集与处理的装置和方法

    公开(公告)号:CN104506373A

    公开(公告)日:2015-04-08

    申请号:CN201510007178.3

    申请日:2015-01-07

    IPC分类号: H04L12/24 H04L12/26

    摘要: 本发明涉及网络数据管理领域,具体涉及一种网络信息采集与处理的装置和方法。针对现有网络信息采集与处理的整体处理速度和系统的整体稳定性不佳的问题,本发明提供的网络信息采集与处理的装置,由配置管理模块、实时数据采集模块、实时数据处理模块、数据缓冲模块、数据存储模块组成,具有松散耦合性,扩展性强,易维护。本发明提供的网络信息采集与处理的方法,实时数据采集模块采用分布式集群采集方案,通过配置策略将采集任务分发给N(N>1)个程序去执行,实时数据处理模块采用分布式流式计算框架,通过N(N>1)个程序来完成对大量采集数据的计算与处理,可以确保数据处理速度更快。