公开(公告)号：CN113660264A

公开(公告)日：2021-11-16

申请号：CN202110936917.2

申请日：2021-08-16

Applicant: 杭州安恒信息技术股份有限公司

Inventor： 李将 ,  范渊 ,  吴卓群 ,  王欣

IPC: H04L29/06 ,  H04L29/12

Abstract: 本申请公开了一种数据处理方法、装置、设备及存储介质，该方法包括：采集DNS流量数据，并对DNS流量数据进行解析，得到DNS解析数据；利用kafka‑flink对DNS解析数据进行数据过滤；将经过flink过滤后的数据中的解析IP映射到Bitmap中进行数据重过滤。本申请首先利用kafka‑flink对数据进行去重处理，然后引入Bitmap对数据进行再次去重处理，存储压缩高，消耗内存小，有助于对大流量数据的多重过滤，效率高，查询快。

公开(公告)号：CN113660264B

公开(公告)日：2023-04-18

申请号：CN202110936917.2

申请日：2021-08-16

Applicant: 杭州安恒信息技术股份有限公司

Inventor： 李将 ,  范渊 ,  吴卓群 ,  王欣

IPC: H04L9/40 ,  H04L61/4511

Abstract: 本申请公开了一种数据处理方法、装置、设备及存储介质，该方法包括：采集DNS流量数据，并对DNS流量数据进行解析，得到DNS解析数据；利用kafka‑flink对DNS解析数据进行数据过滤；将经过flink过滤后的数据中的解析IP映射到Bitmap中进行数据重过滤。本申请首先利用kafka‑flink对数据进行去重处理，然后引入Bitmap对数据进行再次去重处理，存储压缩高，消耗内存小，有助于对大流量数据的多重过滤，效率高，查询快。