基于自动化驱动工具的社交网络数据采集方法和系统
摘要:
本发明公开了一种基于自动化驱动工具的社交网络数据采集方法,包括:获取输入的调度任务,将调度任务转化为结构化数据,并持久化到任务存储器;基于预设的优先级策略自动调整调度任务的执行顺序和执行频率;请求获取调度任务,根据与分配的调度任务匹配的预先配置的模板,采用自动化驱动工具于社交平台上自动采集分配的调度任务所需的数据;收集分配的调度任务的状态变化,待分配的调度任务完成后将采集到的数据上报,并修改分配的调度任务的下次执行时间。本发明可通过自动化驱动技术采集获取社交网络平台数据,可完成系统内持续任务的分类定级,根据各任务执行主体的状态动态分配任务以及资源回收。
0/0