一种Web结构化数据快速提取方法及系统

    公开(公告)号:CN109948018B

    公开(公告)日:2021-05-25

    申请号:CN201910021939.9

    申请日:2019-01-10

    IPC分类号: G06F16/951

    摘要: 本发明是一种Web结构化数据快速提取方法,步骤包括:层次遍历目标网站页面当中的网址链接,并以列表形式记录所有网站的网址和对应的网址跳转顺序;从上述列表中识别目标网页的网址,并记录对应的网址跳转顺序,按目标网站到目标网页访问的先后顺序进行网址拼接,生成访问目标网页的网址跳转顺序;根据贪心随机自适应搜索算法找出访问目标网页的最优网址跳转顺序;根据上述最优网址跳转顺序访问目标网页,层次遍历目标页面的所有数据项标签,找到所有目标数据项标签;从上述所有目标数据项标签中找出最短标签路径;根据上述最优网址跳转顺序和最短路径爬取目标网页的目标数据。本发明还提供一种Web结构化数据快速提取系统。