公开(公告)号：CN109815382A

公开(公告)日：2019-05-28

申请号：CN201811634238.4

申请日：2018-12-29

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  史存会 ,  俞晓明 ,  郭岩 ,  贺广福 ,  孟剑 ,  周秀花 ,  姜世勇 ,  肖若晗 ,  赵岭 ,  张乐 ,  焦利颖 ,  周映彤 ,  周术夏 ,  余智华 ,  刘悦

IPC: G06F16/951

Abstract: 本发明涉及一种大规模网络数据的感知与获取方法，包括：感知网络数据的信息来源并将其拆分为信源，对该信源设置采集策略；生成采集任务，注册采集节点，以该注册节点拉取采集器并对其进行配置；根据该采集策略，通过该采集器执行该采集任务，获取结构化数据；监控该采集任务的执行状态，统计该结构化数据，并将监控结果和统计结果发送给用户。本发明的大规模网络数据感知与获取系统，按照不同的功能逻辑，划分为采集子平台、调度子平台、信源管理与配置子平台和监控与统计子平台，本系统是集大规模网络数据的感知发现、多信息来源的网络数据获取、高质量信息抽取及用户友好性交互界面于一体的通用大规模网络数据感知系统。

公开(公告)号：CN109815382B

公开(公告)日：2022-07-12

申请号：CN201811634238.4

申请日：2018-12-29

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  史存会 ,  俞晓明 ,  郭岩 ,  贺广福 ,  孟剑 ,  周秀花 ,  姜世勇 ,  肖若晗 ,  赵岭 ,  张乐 ,  焦利颖 ,  周映彤 ,  周术夏 ,  余智华 ,  刘悦

IPC: G06F16/951

Abstract: 本发明涉及一种大规模网络数据的感知与获取方法，包括：感知网络数据的信息来源并将其拆分为信源，对该信源设置采集策略；生成采集任务，注册采集节点，以该注册节点拉取采集器并对其进行配置；根据该采集策略，通过该采集器执行该采集任务，获取结构化数据；监控该采集任务的执行状态，统计该结构化数据，并将监控结果和统计结果发送给用户。本发明的大规模网络数据感知与获取系统，按照不同的功能逻辑，划分为采集子平台、调度子平台、信源管理与配置子平台和监控与统计子平台，本系统是集大规模网络数据的感知发现、多信息来源的网络数据获取、高质量信息抽取及用户友好性交互界面于一体的通用大规模网络数据感知系统。