一种基于分布式调度IPv6网站检测方法
摘要:
本发明公开一种基于分布式调度IPv6网站检测方法,步骤为:由中台管理程序执行url合法性判断,任务去重,限制最大任务队列;通过kafka向调度下发未运行任务管理,对各任务List及存储结构控制;通过Redis控制获取未完成任务、检查及任务恢复和最后记录的调度优先级控制;对Redis控制所接收的任务进行拆分,对任务进行轮询、定时更新、请求、入库进行控制管理;根据任务下发条件,按任务优先级、创建任务的时间先后及url名称升序选择任务,并根据最近的调度优先级,设定当前任务调度优先级执行;接收任务,并对url连接进行扫描。本发明方法提升了网站检测速度、检测准确性,可大幅缩短监测时间,提高监测效率。
0/0