一种多源数据同步采集系统及方法
摘要:
本发明提出了一种多源数据同步采集系统及方法,通过预分配用于缓存目标数据的缓存空间,连接预先配置的用于采集所述目标数据的多个目标数据源,确定每个所述目标数据源中的目标数据更新时间,从所述目标数据源中采集所述目标数据写入缓存空间,根据所述目标数据更新时间将从各个目标数据源采集到的目标数据关联到对应的时效窗口,对每个时效窗口中的目标数据执行对比验证,以确定所述目标数据的准确性和完整性,根据对比验证结果将所采集到的目标数据持久化到数据库,能够有效保证所采集数据的准确性、完整性和时效性。
公开/授权文献
0/0