-
公开(公告)号:CN116628306A
公开(公告)日:2023-08-22
申请号:CN202310124802.2
申请日:2023-02-03
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/953 , G06F16/955
Abstract: 本公开提供了一种网页资源获取方法、装置、电子设备以及存储介质,涉及大数据技术领域,尤其涉及智能搜索领域。具体实现方案为:在预设站点集合中,确定目标站点集合;在第一时间段内,采用第二地址段,获取所述目标站点集合中的网页资源;基于该第一时间段内获取网页资源的成功率,在该第一地址段和该第二地址段中确定目标地址段;采用该目标地址段,获取该预设站点集合中的各个网页资源。根据本公开,能够在多个地址段内进行择优适配,对网页资源进行多出口获取调度,可以尽可能地抓取预设站点集合中的全量资源,提升网页资源获取的覆盖度。