公开(公告)号：CN109388665B

公开(公告)日：2020-10-09

申请号：CN201811155138.3

申请日：2018-09-30

Applicant: 吉林大学

Inventor： 包铁 ,  刘露 ,  葛亮 ,  王上 ,  彭涛 ,  崔海

IPC: G06F16/2458 ,  G06F16/951 ,  G06F16/955

Abstract: 本发明提供了一种作者关系在线挖掘方法及系统，该作者关系在线挖掘方法根据爬行队列中的URL获取目标页面并将所述目标页面解析为文档对象模型；根据内容分割策略将所述文档对象模型划分为多个内容块；分别从每个所述内容块中提取作者信息，并在完成爬取操作后根据提取到的作者信息，对内容块进行增量层次化聚类，得到聚簇；对各个所述聚簇中的作者信息进行关联规则挖掘，实现了在线从网页中挖掘作者之间关系的目的。

公开(公告)号：CN108959413A

公开(公告)日：2018-12-07

申请号：CN201810581858.X

申请日：2018-06-07

Applicant: 吉林大学

Inventor： 彭涛 ,  包铁 ,  徐凯旋 ,  张雪松 ,  王上

IPC: G06F17/30

Abstract: 本申请提供了一种主题网页爬取方法及主题爬虫系统，方法包括：从包括种子链接的第一待爬取链接集合中获取未爬取的链接；确定获取的链接对应的目标网页对应的第一相关度和第二相关度，第一相关度和第二相关度分别为目标网页中目标文本内容和目标链接与指定主题的相关度；根据第一相关度和第二相关度确定目标网页的温度值，并存储目标网页的待展示内容；若目标网页的温度值大于或等于预设温度值，将目标链接放入第二待爬取链接集合；若第一待爬取链接集合中不存在未获取过的链接，从第二待爬取链接集合中获取与指定主题相关度最高的未爬取的链接继续爬取。本申请使得用户可从网络上获取大量与指定主题相关的网页。