基于略图结构的网络流基数在线实时估算方法

    公开(公告)号:CN113360532B

    公开(公告)日:2022-11-15

    申请号:CN202110633705.7

    申请日:2021-06-07

    Applicant: 东南大学

    Inventor: 肖卿俊 胡雄钦

    Abstract: 本发明提供了基于略图结构的网络流基数在线估算方法,实现逐流基数估算,即统计网络流的元素数量时可过滤重复元素。该方法将流基数的查询时间降低到O(1),所以每个网络事件到达时可在线估算流基数。本方法设计了略图摘要结构,并融合四种查询加速技术,包括增量更新单元、多stage查询结果聚合、快速查询路径和整数运算近似浮点运算。若干略图stages分别统计网络流基数;每个stage可在O(1)时间提供流基数查询结果,因其借助灰色块代表的增量更新单元。本方法处理每个网络事件只需少于5次访存。与传统方法相比查询时间减少数百倍,同时不影响top‑k超点识别精度,可应用于实时超点检测和top‑k持久流实时检测等。

    基于略图结构的网络流基数在线实时估算方法

    公开(公告)号:CN113360532A

    公开(公告)日:2021-09-07

    申请号:CN202110633705.7

    申请日:2021-06-07

    Applicant: 东南大学

    Inventor: 肖卿俊 胡雄钦

    Abstract: 本发明提供了基于略图结构的网络流基数在线估算方法,实现逐流基数估算,即统计网络流的元素数量时可过滤重复元素。该方法将流基数的查询时间降低到O(1),所以每个网络事件到达时可在线估算流基数。本方法设计了略图摘要结构,并融合四种查询加速技术,包括增量更新单元、多stage查询结果聚合、快速查询路径和整数运算近似浮点运算。若干略图stages分别统计网络流基数;每个stage可在O(1)时间提供流基数查询结果,因其借助灰色块代表的增量更新单元。本方法处理每个网络事件只需少于5次访存。与传统方法相比查询时间减少数百倍,同时不影响top‑k超点识别精度,可应用于实时超点检测和top‑k持久流实时检测等。

    基于通用略图的高速网络逐流基数和分布函数的估算方法

    公开(公告)号:CN117336209A

    公开(公告)日:2024-01-02

    申请号:CN202311328727.8

    申请日:2023-10-14

    Applicant: 东南大学

    Abstract: 本发明涉及一种基于通用略图的高速网络逐流基数和分布函数估算方法。该方法利用层次化的略图结构设计,在利用略图方法存储逐流基数指标的同时,为大基数的超点流分配独占的有状态流表空间,存储其对应的流标识与基数值,改善了逐流基数估算精度。在该层次化结构中,每层的子略图组合了一个确切数据结构和一个略图结构,引入了一套基于最小堆的在两者之间的换入、换出机制,并通过快照记录移入时刻的噪声大小,缓解了哈希碰撞。同时,该方法能够计算逐流基数的任意阶矩,并以此重构出逐流基数的分布函数。本发明在未使算法时间复杂度有较明显提升的前提下,实现了高速网络流量中的逐流基数值、流基数高阶矩和分布函数等相关统计指标的准确估计。

Patent Agency Ranking