一种基于SQL Server的数据同步方法及系统

    公开(公告)号:CN111125260A

    公开(公告)日:2020-05-08

    申请号:CN202010068598.3

    申请日:2020-01-21

    Abstract: 本发明提供一种基于SQL Server的数据同步方法及系统,涉及数据管理技术领域,其中一种基于SQL Server的数据同步方法包括以下步骤:S1:获取源表的数据变化;S2:实时获取数据表的行级更改数据并记录;S3:将变更的数据同步到Kafka中;S4:实时消费Kafka中产生的数据,进行ETL操作;S5:输出结果存储至目标表,获得业务统计分析的宽表,便于后台读取。本发明一种基于SQL Server的数据同步方法及系统可以获取SQL Server数据库中现有数据的快照,然后监视和记录对该数据的所有后续行级更改。每个表的所有事件都记录在单独的Kafka Topic中,进而用于kafka消费,实现数据同步,数据同步效果好,方便后台读取。

Patent Agency Ranking