一种基于网络爬虫的数据处理方法、系统及云平台
摘要:
本发明涉及互联网与数据处理技术领域,具体而言,涉及一种基于网络爬虫的数据处理方法、系统及云平台。本发明通过获取用户输入的网页爬虫指令,网页爬虫指令包括目标网页信息和爬取对象集合,然后获取与目标网页信息和爬取对象集合对应的目标爬虫数据,并将目标爬虫数据保存至目标分布式保存节点中,其中,目标分布式保存节点是分布式存储系统中与网页对象集合对应的保存节点;相比于现有技术,本发明能够提升大规模数据爬取时爬虫数据保存的可靠性,并通过针对当前网页内容数据和历史网页内容数据进行爬取,能够充分的爬取用户所需的数据,提高数据爬取的完整性。
0/0