发明授权
- 专利标题: 一种基于请求成功率的自适应休眠时间调节方法
-
申请号: CN201910475839.3申请日: 2019-06-03
-
公开(公告)号: CN110209911B公开(公告)日: 2023-03-28
- 发明人: 覃琴 , 王鑫 , 江旭华 , 石宁波
- 申请人: 桂林电子科技大学
- 申请人地址: 广西壮族自治区桂林市七星区金鸡路1号
- 专利权人: 桂林电子科技大学
- 当前专利权人: 桂林蓝港科技有限公司
- 当前专利权人地址: 541004 广西壮族自治区桂林市七星区桂磨大道桂林创意产业园14#603房
- 代理机构: 桂林市华杰专利商标事务所有限责任公司
- 代理商 刘梅芳
- 主分类号: G06F16/951
- IPC分类号: G06F16/951
摘要:
本发明公开了一种基于请求成功率的自适应休眠时间调节方法,包括如下步骤:1)检查1个周期内success和fail的和是否为10;2)计算请求周期成功率;3)计算该周期花费的时间;4)计算该周期的每个成功请求所花费的时间;5)将lastKey和lastVal记录为第一个请求周期的休眠时间值以及平均时间,然后将下一个请求周期的休眠时间设置为第一个请求周期休眠时间减gap毫秒,第一个请求周期结束,返回到步骤1);6)与第N‑1个周期比较;7)更新lastKey和lastVal,同时更新lastKey和lastVal,返回到步骤1);8)将下一个N+1周期的休眠时间设置为N‑1的休眠时间加gap毫秒,将lastVal记录为第N‑1个周期的休眠时间,本周期结束,返回到步骤1);9)继续运行。这种方法能提高爬虫运行的效率。
公开/授权文献
- CN110209911A 一种基于请求成功率的自适应休眠时间调节方法 公开/授权日:2019-09-06