公开(公告)号：CN104142985A

公开(公告)日：2014-11-12

申请号：CN201410352349.1

申请日：2014-07-23

Applicant: 哈尔滨工业大学(威海)

Inventor： 陈新蕾 ,  吕芳 ,  魏玉良 ,  刘扬 ,  黄俊恒 ,  王佰玲

IPC: G06F17/30

CPC classification number: G06F17/30864

Abstract: 本发明公开了一种半自动化的垂直爬虫生成工具及方法，该半自动化的垂直爬虫生成方法包括：用户可以选择新建或采用lex-yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构；根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容；保存模板；该半自动化的垂直爬虫生成工具包括：爬虫自动生成工具模块、爬虫模块。本发明由自动生成模板内容代替人工手动配置模板，使配置模板变得更加方便快捷，可以大大节省相关人员的工作量。

公开(公告)号：CN104142985B

公开(公告)日：2018-02-06

申请号：CN201410352349.1

申请日：2014-07-23

Applicant: 哈尔滨工业大学(威海)

Inventor： 魏玉良 ,  王佰玲 ,  吕芳 ,  陈新蕾 ,  黄俊恒 ,  刘扬

IPC: G06F17/30

Abstract: 本发明公开了一种半自动化的垂直爬虫生成工具及方法，该半自动化的垂直爬虫生成方法包括：用户可以选择新建或采用lex‑yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构；根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容；保存模板；该半自动化的垂直爬虫生成工具包括：爬虫自动生成工具模块、爬虫模块。本发明由自动生成模板内容代替人工手动配置模板，使配置模板变得更加方便快捷，可以大大节省相关人员的工作量。