一种插件式异构Syslog接入处理系统及方法

    公开(公告)号:CN113704226B

    公开(公告)日:2023-01-31

    申请号:CN202110969343.9

    申请日:2021-08-23

    摘要: 本发明公开了一种插件式异构Syslog接入处理系统及方法,所述系统包括流处理任务管理模块、数据流输入模块、数据流处理模块、数据流输出模块、外部数据管理模块和插件脚本管理模块。数据流输入模块支持接入各类异构Syslog数据,通过数据流处理模块进行数据清洗、转换、格式化、富化等处理操作,通过数据流输出模块输出到数据库、Logstash服务器、日志服务器或消息队列。插件脚本管理模块对插件脚本进行管理。流处理任务管理模块负责对各处理模块的执行状态进行监控和管理。外部数据管理模块支持引入外部数据源,支撑数据处理相关操作。本发明实现了对多源异构Syslog数据的灵活接入、处理和输出,有效过滤无用告警数据,为更快处理威胁事件提供技术支撑。

    一种插件式异构Syslog接入处理系统及方法

    公开(公告)号:CN113704226A

    公开(公告)日:2021-11-26

    申请号:CN202110969343.9

    申请日:2021-08-23

    摘要: 本发明公开了一种插件式异构Syslog接入处理系统及方法,所述系统包括流处理任务管理模块、数据流输入模块、数据流处理模块、数据流输出模块、外部数据管理模块和插件脚本管理模块。数据流输入模块支持接入各类异构Syslog数据,通过数据流处理模块进行数据清洗、转换、格式化、富化等处理操作,通过数据流输出模块输出到数据库、Logstash服务器、日志服务器或消息队列。插件脚本管理模块对插件脚本进行管理。流处理任务管理模块负责对各处理模块的执行状态进行监控和管理。外部数据管理模块支持引入外部数据源,支撑数据处理相关操作。本发明实现了对多源异构Syslog数据的灵活接入、处理和输出,有效过滤无用告警数据,为更快处理威胁事件提供技术支撑。

    分布式自学习异常流量协同检测方法及系统

    公开(公告)号:CN112367303A

    公开(公告)日:2021-02-12

    申请号:CN202011132314.9

    申请日:2020-10-21

    摘要: 本发明实施例公开了一种分布式自学习异常流量协同检测方法及系统,涉及互联网技术领域,能够更全面得过滤更多异常流量,降低系统虚警率。本发明包括:通过流量分类器对输入的流量进行分类,筛选出恶意流量;将恶意流量上传至综合管理模块;综合管理模块对分析节点上报的恶意流量进行标注得到恶意流量样本;综合管理模块将恶意流量样本归入系统样本库,并将恶意流量样本下发至指定的分析节点;指定的分析节点根据综合管理模块下发的恶意流量样本,更新指定的分析节点对应的节点样本库;指定的分析节点,通过权重训练模块,根据更新后的节点样本库训练权重模型,得到更新后的权重,并将更新后的权重导入流量分类器。本发明适用于大规模分布式系统。