公开(公告)号：CN102375837B

公开(公告)日：2014-12-31

申请号：CN201010257383.2

申请日：2010-08-19

Applicant: 中国移动通信集团公司

Inventor： 胡珉 ,  罗治国 ,  孙少陵 ,  黄晓庆 ,  张新访 ,  廖卫国 ,  李成华 ,  任猛 ,  余晓阳

IPC: G06F17/30

Abstract: 本申请提供了数据采集系统和方法。数据采集系统可包括多个调度服务器和多个采集服务器。调度服务器可包括生成单元，生成采集任务；发送单元，将采集任务发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可包括拆分单元，将接收到的采集任务拆分为多个子任务；子任务发送单元，将多个子任务发送给多个调度服务器中当前处于待接收状态的调度服务器。调度服务器接收到的子任务可由调度服务器的发送单元发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可进一步包括执行单元，根据所接收的子任务，执行数据采集。通过本申请，可提高数据采集的效率，并能够利用分布式并行处理能力，实现针对海量数据的数据采集。

公开(公告)号：CN102375837A

公开(公告)日：2012-03-14

申请号：CN201010257383.2

申请日：2010-08-19

Applicant: 中国移动通信集团公司

Inventor： 胡珉 ,  罗治国 ,  孙少陵 ,  黄晓庆 ,  张新访 ,  廖卫国 ,  李成华 ,  任猛 ,  余晓阳

IPC: G06F17/30

Abstract: 本发明提供了数据采集系统和方法。数据采集系统可包括多个调度服务器和多个采集服务器。调度服务器可包括生成单元，生成采集任务；发送单元，将采集任务发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可包括拆分单元，将接收到的采集任务拆分为多个子任务；子任务发送单元，将多个子任务发送给多个调度服务器中当前处于待接收状态的调度服务器。调度服务器接收到的子任务可由调度服务器的发送单元发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可进一步包括执行单元，根据所接收的子任务，执行数据采集。通过本发明，可提高数据采集的效率，并能够利用分布式并行处理能力，实现针对海量数据的数据采集。