公开(公告)号：CN111831881B

公开(公告)日：2023-03-21

申请号：CN202010636291.9

申请日：2020-07-04

Applicant: 西安交通大学

Inventor： 周亚东 ,  岳天一 ,  刘晓明 ,  沈超

IPC: G06F16/951 ,  G06F18/2337

Abstract: 一种基于网站流量日志数据与优化谱聚类算法的恶意爬虫检测方法，包括：预处理日志数据，过滤非页面请求，从请求记录中筛选相关字段用于爬虫检测；为每个cookie生成页面请求序列，基于页面请求序列，计算任意两cookie间行为相似度；构建以cookie为节点的完全图，任意两cookie节点间边的权重等于cookie间行为相似度；使用优化谱聚类算法对图进行社区划分；设计社区特征，并设置阈值进行爬虫社区识别；使用核密度估计算法对剩余未发现的爬虫cookie进行挖掘。本发明能够为网站监控爬虫、制定拦截规则、保护公司数据财产与用户隐私等提供技术支持；本发明基于易于获取的流量日志数据实现爬虫检测，具有较高的实际应用价值。

公开(公告)号：CN111831881A

公开(公告)日：2020-10-27

申请号：CN202010636291.9

申请日：2020-07-04

Applicant: 西安交通大学

Inventor： 周亚东 ,  岳天一 ,  刘晓明 ,  沈超

IPC: G06F16/951 ,  G06K9/62

Abstract: 一种基于网站流量日志数据与优化谱聚类算法的恶意爬虫检测方法，包括：预处理日志数据，过滤非页面请求，从请求记录中筛选相关字段用于爬虫检测；为每个cookie生成页面请求序列，基于页面请求序列，计算任意两cookie间行为相似度；构建以cookie为节点的完全图，任意两cookie节点间边的权重等于cookie间行为相似度；使用优化谱聚类算法对图进行社区划分；设计社区特征，并设置阈值进行爬虫社区识别；使用核密度估计算法对剩余未发现的爬虫cookie进行挖掘。本发明能够为网站监控爬虫、制定拦截规则、保护公司数据财产与用户隐私等提供技术支持；本发明基于易于获取的流量日志数据实现爬虫检测，具有较高的实际应用价值。