-
公开(公告)号:CN112199175A
公开(公告)日:2021-01-08
申请号:CN202011111238.3
申请日:2020-04-02
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/48 , G06F9/50 , G06F16/951 , G06F16/955
Abstract: 公开了一种任务队列生成方法、装置及设备。通过将需要爬取的待处理任务根据各自需要访问的主机进行哈希运算,并分配到预定义长度的N维数组中,然后从数组中的每个数组元素中分别取出一个待处理任务,并放入任务队列的端部,从而形成新的任务队列。
-
公开(公告)号:CN112199175B
公开(公告)日:2024-05-17
申请号:CN202011111238.3
申请日:2020-04-02
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/48 , G06F9/50 , G06F16/951 , G06F16/955
Abstract: 公开了一种任务队列生成方法、装置及设备。通过将需要爬取的待处理任务根据各自需要访问的主机进行哈希运算,并分配到预定义长度的N维数组中,然后从数组中的每个数组元素中分别取出一个待处理任务,并放入任务队列的端部,从而形成新的任务队列。
-
公开(公告)号:CN111158892B
公开(公告)日:2020-10-02
申请号:CN202010254907.6
申请日:2020-04-02
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/48 , G06F9/50 , G06F16/951 , G06F16/955
Abstract: 公开了一种任务队列生成方法、装置及设备。通过将需要爬取的待处理任务根据各自需要访问的主机进行哈希运算,并分配到预定义长度的N维数组中,然后从数组中的每个数组元素中分别取出一个待处理任务,并放入任务队列的端部,从而形成新的任务队列。
-
公开(公告)号:CN111158892A
公开(公告)日:2020-05-15
申请号:CN202010254907.6
申请日:2020-04-02
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/48 , G06F9/50 , G06F16/951 , G06F16/955
Abstract: 公开了一种任务队列生成方法、装置及设备。通过将需要爬取的待处理任务根据各自需要访问的主机进行哈希运算,并分配到预定义长度的N维数组中,然后从数组中的每个数组元素中分别取出一个待处理任务,并放入任务队列的端部,从而形成新的任务队列。
-
-
-