一种基于时空统计的IP地址画像方法

    公开(公告)号:CN114037009A

    公开(公告)日:2022-02-11

    申请号:CN202111308488.0

    申请日:2021-11-05

    IPC分类号: G06K9/62 H04L69/22

    摘要: 本发明公开了一种基于时空统计的IP地址画像方法,该方法包括:使用Count‑Min Sketch和最小堆这两种数据结构来保存网络中每个IP的访问与被访问情况;利用每个IP地址的Sketch生成一组时空矩阵,从而得到每个IP地址的特征信息;在此基础上对IP地址进行层次式聚类,并根据聚类结果为每个IP地址打上伪标签,形成群体IP地址画像,再根据同一标签下IP地址的频繁访问与被访问记录形成对该类IP地址的解析,完成个体IP地址画像。本发明方法使用基于Count‑Min Sketch与最小堆的概率数据结构,大大减少存储空间的同时,也能保证面对实时海量流数据时数据记录的准确性,并配合基于时空统计的IP地址画像算法,分别利用网络流全局信息和IP访问模式信息完成群体IP地址画像和个体IP地址画像。

    一种基于时空IP地址画像的网络流异常检测方法

    公开(公告)号:CN114050922B

    公开(公告)日:2023-07-21

    申请号:CN202111308479.1

    申请日:2021-11-05

    摘要: 本发明公开了一种基于时空IP地址画像的网络流异常检测方法,该方法包括:统计IP地址的出度、入度、访问频率等信息,给出时空IP地址画像的定义,利用DBSCAN算法对同类型IP地址进行聚类;基于当前IP地址画像,对比同类别IP的历史一周对应时期的画像信息,通过对历史平均值和方差的计算,设计异常阈值,判断当前时期的IP画像是否异常;基于极值理论算法,定义网络流数据中的峰值,对历史数据的峰值加以拟合,推理极值的分布,对异常阈值进行动态调整。本发明方法使用时空IP地址画像的定义以及DBSCAN聚类算法,可以准确地表示同类别IP的历史访问特征,配合历史统计数值与基于极值理论的算法计算阈值,可以动态调整异常检测阈值,检测网络流中出现的异常。