面向海量数据采集的分布式网络爬虫性能优化系统

    公开(公告)号:CN110866166A

    公开(公告)日:2020-03-06

    申请号:CN201911110921.2

    申请日:2019-11-14

    Abstract: 本发明属于软件工程技术领域,具体涉及一种面向海量数据采集的分布式网络爬虫性能优化系统。所述系统中,初始化模块用于新建一个去重字符串和一个垃圾链接特征字符串;主节点爬行器用于读取到初始URL地址,爬取模块爬取初始URL地址,生成URL任务队列;爬取模块用于根据URL任务队列进行网页爬取,完成爬取工作。与现有技术相比较,本发明突破了分布式网络爬虫爬取性能瓶颈,爬取性能提高50%以上;提高了URL任务队列的去重效率,满足海量数据采集的效率要求;优化了URL任务队列的存储空间,极大地节省了服务器内存资源;增加了垃圾链接过滤环节,不仅节约服务器内存资源,而且显著提高爬虫效率。

Patent Agency Ranking