公开(公告)号：CN112579862B

公开(公告)日：2022-06-14

申请号：CN202011524745.X

申请日：2020-12-22

Applicant: 福建江夏学院

Inventor： 曾燕清 ,  林旭云 ,  林智华 ,  陈晓峰 ,  吴小菁

IPC: G06F16/951

Abstract: 本发明提出一种基于MD5值比对的Xpath自动提取方法，其在指定列表页后自动提取列表页中的链接信息，并在自动提取的链接信息中由用户选择若干个页面参与Xpath自动生成；所述自动生成的过程为：对参与自动生成过程的页面进行解析，得到Xpath和内容的键值对生成Xpath对应的MD5值，综合比较页面的Xpath、内容值和MD5值，生成最终详情页所需数据项的Xpath。该算法能够有效辅助用户提取Xpath。通过该算法流程也可自适应页面结构变化、将该算法融合至爬虫设计中可降低爬虫维护成本、提高工作效率，且生成Xpath过程可供没有语言基础的用户使用。

公开(公告)号：CN112579862A

公开(公告)日：2021-03-30

申请号：CN202011524745.X

申请日：2020-12-22

Applicant: 福建江夏学院

Inventor： 曾燕清 ,  林旭云 ,  林智华 ,  陈晓峰 ,  吴小菁

IPC: G06F16/951

Abstract: 本发明提出一种基于MD5值比对的Xpath自动提取方法，其在指定列表页后自动提取列表页中的链接信息，并在自动提取的链接信息中由用户选择若干个页面参与Xpath自动生成；所述自动生成的过程为：对参与自动生成过程的页面进行解析，得到Xpath和内容的键值对生成Xpath对应的MD5值，综合比较页面的Xpath、内容值和MD5值，生成最终详情页所需数据项的Xpath。该算法能够有效辅助用户提取Xpath。通过该算法流程也可自适应页面结构变化、将该算法融合至爬虫设计中可降低爬虫维护成本、提高工作效率，且生成Xpath过程可供没有语言基础的用户使用。