公开(公告)号：CN106528654A

公开(公告)日：2017-03-22

申请号：CN201610902404.9

申请日：2016-10-17

Applicant: 中国电子技术标准化研究院

Inventor： 范科峰 ,  姚相振 ,  钱竞远 ,  周睿康 ,  高林 ,  刘贤刚 ,  李琳

IPC: G06F17/30

Abstract: 本发明公开了一种基于布谷鸟搜索的方法，利用通用搜索引擎获取待搜索的网页URL，根据网页间的链接关系获取初始种子群体URL；通过Levy飞行操作搜索主题相关性高的网页，运用向量空间模型算法计算网页主题相关性；设置被发现概率的临界值Pa通过被发现概率Pa操作引入目录型网页，扩大网页的搜索范围；通过适应度函数计算，选出适应度高的个体URL放入待爬取种子群体URL中。本发明提供了一种基于布谷鸟搜索算法的主题爬虫方法，使Web网页之间的链接结构关系不会被忽略，很好地发挥网页链接结构的作用；这种搜索策略能较好的克服主题爬虫出现的“主题漂移”问题以及在搜索相关网页时陷入局部最优值，获得尽可能高的查全率和查准率，从而提高爬虫的搜索效率。

公开(公告)号：CN106528654B

公开(公告)日：2019-10-22

申请号：CN201610902404.9

申请日：2016-10-17

Applicant: 中国电子技术标准化研究院

Inventor： 范科峰 ,  姚相振 ,  钱竞远 ,  周睿康 ,  高林 ,  刘贤刚 ,  李琳

IPC: G06F16/951 ,  G06N3/00

Abstract: 本发明公开了一种基于布谷鸟搜索的方法，利用通用搜索引擎获取待搜索的网页URL，根据网页间的链接关系获取初始种子群体URL；通过Levy飞行操作搜索主题相关性高的网页，运用向量空间模型算法计算网页主题相关性；设置被发现概率的临界值Pa通过被发现概率Pa操作引入目录型网页，扩大网页的搜索范围；通过适应度函数计算，选出适应度高的个体URL放入待爬取种子群体URL中。本发明提供了一种基于布谷鸟搜索算法的主题爬虫方法，使Web网页之间的链接结构关系不会被忽略，很好地发挥网页链接结构的作用；这种搜索策略能较好的克服主题爬虫出现的“主题漂移”问题以及在搜索相关网页时陷入局部最优值，获得尽可能高的查全率和查准率，从而提高爬虫的搜索效率。