公开(公告)号：CN103092840B

公开(公告)日：2015-09-16

申请号：CN201110334851.6

申请日：2011-10-28

Applicant: 上海邮电设计咨询研究院有限公司

Inventor： 王志海 ,  麦菁 ,  辛炜博 ,  徐卸土 ,  王智博

IPC: G06F17/30

Abstract: 一种多源自增海量数据文件实时采集方法，采用多线程技术并行采集数据源上的自增数据文件，采用文件切片技术和文件续传技术对所述的自增数据文件按时间切片，每次采集自增数据文件的增量部分。根据数据生成周期、预估数据文件大小及业务需求设定采集时间间隔，按设定的采集时间间隔，以定期轮询的方式检查服务器数据源当前周期的数据文件，采用文件切片技术和文件续传技术采集增量数据，以小数据文件的形式存储到本地，并且记录当前时刻文件字节大小作为下次轮询采集的起始位置。本发明每次采集增量部分，实现多源自增海量数据文件实时采集，解决了现有技术中采集电信数据延迟时间长、实时性差、影响服务器负载和稳定性的技术问题。

公开(公告)号：CN103092840A

公开(公告)日：2013-05-08

申请号：CN201110334851.6

申请日：2011-10-28

Applicant: 上海邮电设计咨询研究院有限公司

Inventor： 王志海 ,  麦菁 ,  辛炜博 ,  徐卸土 ,  王智博

IPC: G06F17/30

Abstract: 一种多源自增海量数据文件实时采集方法，采用多线程技术并行采集数据源上的自增数据文件，采用文件切片技术和文件续传技术对所述的自增数据文件按时间切片，每次采集自增数据文件的增量部分。根据数据生成周期、预估数据文件大小及业务需求设定采集时间间隔，按设定的采集时间间隔，以定期轮询的方式检查服务器数据源当前周期的数据文件，采用文件切片技术和文件续传技术采集增量数据，以小数据文件的形式存储到本地，并且记录当前时刻文件字节大小作为下次轮询采集的起始位置。本发明每次采集增量部分，实现多源自增海量数据文件实时采集，解决了现有技术中采集电信数据延迟时间长、实时性差、影响服务器负载和稳定性的技术问题。