网页资源获取方法、装置、电子设备和存储介质

    公开(公告)号:CN116628306A

    公开(公告)日:2023-08-22

    申请号:CN202310124802.2

    申请日:2023-02-03

    Abstract: 本公开提供了一种网页资源获取方法、装置、电子设备以及存储介质,涉及大数据技术领域,尤其涉及智能搜索领域。具体实现方案为:在预设站点集合中,确定目标站点集合;在第一时间段内,采用第二地址段,获取所述目标站点集合中的网页资源;基于该第一时间段内获取网页资源的成功率,在该第一地址段和该第二地址段中确定目标地址段;采用该目标地址段,获取该预设站点集合中的各个网页资源。根据本公开,能够在多个地址段内进行择优适配,对网页资源进行多出口获取调度,可以尽可能地抓取预设站点集合中的全量资源,提升网页资源获取的覆盖度。

Patent Agency Ranking