公开(公告)号：CN101727461A

公开(公告)日：2010-06-09

申请号：CN200810223791.9

申请日：2008-10-13

Applicant: 中国科学院计算技术研究所

Inventor： 郭岩 ,  丁国栋 ,  张刚

IPC: G06F17/30

Abstract: 本发明提供一种网页的正文抽取方法，包括下列步骤：1)将为所述网页建立的DOM树中的所有特征节点进行合并段落操作；2)从承载最长段落的节点集合中任选一个节点，从所选节点回溯至所述DOM树的根节点，计算各个节点的父节点及其子树与该节点及其子树承载的文本的标点符号的数量的差值，顺序构成增量序列；3)在所述增量序列中查找第一个0值的增量，或第一个小于其前面相邻增量且小于或等于其后面相邻增量的增量；4)如果查找到所述增量，则确定该增量的对应节点及其子树所承载的文本是网页的正文；5)如果未查找到所述增量，则确定根节点及其子树所承载的文本是网页的正文。本发明抽取精度高，实现速度快，维护代价低且适应性好。

公开(公告)号：CN101661468A

公开(公告)日：2010-03-03

申请号：CN200810119238.0

申请日：2008-08-29

Applicant: 中国科学院计算技术研究所

Inventor： 郭岩 ,  丁国栋 ,  曹冬林 ,  王宇 ,  张刚

IPC: G06F17/30

Abstract: 本发明公开了一种从论坛帖子列表页面中抽取帖子元数据的方法，其包括如下步骤：步骤S1，提供论坛帖子列表页面作为样例页面，根据样例页面中的帖子记录的组织结构特征生成抽取模板；步骤S2，根据抽取模板，对与样例页面中的帖子记录的组织结构相同或相似的论坛帖子列表页面作在线抽取操作，获得帖子元数据。本发明能够满足处理大量的大规模论坛数据的实际需求，且抽取精度高、抽取速度快、维护代价小。

公开(公告)号：CN101661468B

公开(公告)日：2011-08-31

申请号：CN200810119238.0

申请日：2008-08-29

Applicant: 中国科学院计算技术研究所

Inventor： 郭岩 ,  丁国栋 ,  曹冬林 ,  王宇 ,  张刚

IPC: G06F17/30

Abstract: 本发明公开了一种从论坛帖子列表页面中抽取帖子元数据的方法，其包括如下步骤：步骤S1，提供论坛帖子列表页面作为样例页面，根据样例页面中的帖子记录的组织结构特征生成抽取模板；步骤S2，根据抽取模板，对与样例页面中的帖子记录的组织结构相同或相似的论坛帖子列表页面作在线抽取操作，获得帖子元数据。本发明能够满足处理大量的大规模论坛数据的实际需求，且抽取精度高、抽取速度快、维护代价小。

公开(公告)号：CN101464905B

公开(公告)日：2011-03-23

申请号：CN200910076548.3

申请日：2009-01-08

Applicant: 中国科学院计算技术研究所

Inventor： 吴博 ,  王宇 ,  张刚 ,  丁国栋 ,  程学旗

IPC: G06F17/30

Abstract: 本发明涉及网页信息抽取的系统和方法，系统包括：模板生成模块，用于从网页集合中选取待自动标注网页，根据用户标注的训练网页将待自动标注网页分类，生成分类的类别的网页模板；网页同质化模块，用于依据网页模板屏蔽待自动标注网页同其所属类别的网页模板间的差异；自动标注模块，用于解析类别对应的训练网页，生成第一包装器文件，按第一包装器文件对待自动标注网页进行自动标注，以生成新的训练网页；包装器文件生成模块，用于解析所有训练网页，生成第二包装器文件；在线抽取模块，用于应用第二包装器文件对网页集合中未被选取的网页信息进行抽取。本发明能够对应不同类的网页生成多个模板，并对网页中多个记录和每个记录多个属性进行抽取。

公开(公告)号：CN101464905A

公开(公告)日：2009-06-24

申请号：CN200910076548.3

申请日：2009-01-08

Applicant: 中国科学院计算技术研究所

Inventor： 吴博 ,  王宇 ,  张刚 ,  丁国栋 ,  程学旗

IPC: G06F17/30

Abstract: 本发明涉及网页信息抽取的系统和方法，系统包括：模板生成模块，用于从网页集合中选取待自动标注网页，根据用户标注的训练网页将待自动标注网页分类，生成分类的类别的网页模板；网页同质化模块，用于依据网页模板屏蔽待自动标注网页同其所属类别的网页模板间的差异；自动标注模块，用于解析类别对应的训练网页，生成第一包装器文件，按第一包装器文件对待自动标注网页进行自动标注，以生成新的训练网页；包装器文件生成模块，用于解析所有训练网页，生成第二包装器文件；在线抽取模块，用于应用第二包装器文件对网页集合中未被选取的网页信息进行抽取。本发明能够对应不同类的网页生成多个模板，并对网页中多个记录和每个记录多个属性进行抽取。

公开(公告)号：CN101727461B

公开(公告)日：2012-11-21

申请号：CN200810223791.9

申请日：2008-10-13

Applicant: 中国科学院计算技术研究所

Inventor： 郭岩 ,  丁国栋 ,  张刚

IPC: G06F17/30

Abstract: 本发明提供一种网页的正文抽取方法，包括下列步骤：1)将为所述网页建立的DOM树中的所有特征节点进行合并段落操作；2)从承载最长段落的节点集合中任选一个节点，从所选节点回溯至所述DOM树的根节点，计算各个节点的父节点及其子树与该节点及其子树承载的文本的标点符号的数量的差值，顺序构成增量序列；3)在所述增量序列中查找第一个0值的增量，或第一个小于其前面相邻增量且小于或等于其后面相邻增量的增量；4)如果查找到所述增量，则确定该增量的对应节点及其子树所承载的文本是网页的正文；5)如果未查找到所述增量，则确定根节点及其子树所承载的文本是网页的正文。本发明抽取精度高，实现速度快，维护代价低且适应性好。