一种可配置的网络爬虫方法
    2.
    发明公开

    公开(公告)号:CN117556114A

    公开(公告)日:2024-02-13

    申请号:CN202311535665.8

    申请日:2023-11-17

    Abstract: 本发明涉及一种可配置的网络爬虫方法,属于网络安全技术领域。根据目标网页生成模板,形成配置文件,利用配置文件来完成网页信息的爬取,具体地,首先通过文件解析引擎调用爬虫配置文件,解析得到爬虫模板信息,然后根据模板信息对目标网页进行内容爬取;该方法以灵活的配置文件代替硬编码的方式,实现对网页信息的爬取,使得开发人员只需对配置文件进行编写或修改即可,省去了硬编码所带来的复杂的开发量以及后期维护的高成本,能够更高效率地满足网页信息的爬取需求。

Patent Agency Ranking