发明公开
- 专利标题: 一种多源数据同步采集系统及方法
-
申请号: CN202410157181.2申请日: 2024-02-04
-
公开(公告)号: CN117971847A公开(公告)日: 2024-05-03
- 发明人: 陈功文 , 宋朋 , 刘光龙 , 徐望 , 何耀华 , 陈华康
- 申请人: 菁菱谷(深圳)技术有限公司
- 申请人地址: 广东省深圳市龙岗区坂田街道坂田社区吉华路489号乐荟科创中心13栋5层A2
- 专利权人: 菁菱谷(深圳)技术有限公司
- 当前专利权人: 菁菱谷(深圳)技术有限公司
- 当前专利权人地址: 广东省深圳市龙岗区坂田街道坂田社区吉华路489号乐荟科创中心13栋5层A2
- 代理机构: 深圳市中科专匠知识产权代理事务所
- 代理商 甘晓媛; 吴志伟
- 主分类号: G06F16/23
- IPC分类号: G06F16/23 ; G06F16/2455 ; G06F16/25
摘要:
本发明提出了一种多源数据同步采集系统及方法,通过预分配用于缓存目标数据的缓存空间,连接预先配置的用于采集所述目标数据的多个目标数据源,确定每个所述目标数据源中的目标数据更新时间,从所述目标数据源中采集所述目标数据写入缓存空间,根据所述目标数据更新时间将从各个目标数据源采集到的目标数据关联到对应的时效窗口,对每个时效窗口中的目标数据执行对比验证,以确定所述目标数据的准确性和完整性,根据对比验证结果将所采集到的目标数据持久化到数据库,能够有效保证所采集数据的准确性、完整性和时效性。
公开/授权文献
- CN117971847B 一种多源数据同步采集系统及方法 公开/授权日:2024-09-27