一种基于kafka-connect的数据传递方法

    公开(公告)号:CN112565333A

    公开(公告)日:2021-03-26

    申请号:CN202011210831.3

    申请日:2020-11-03

    Abstract: 本发明公开了一种基于kafka‑connect的数据传递方法,包括:生成与源kafka的topic对应的kafka‑connector,并通过kafka‑connector生成对应的task任务;task任务监听该源kafka的topic是否有数据变化;如果确定task任务监听该源kafka的topic有数据变化,则判断源kafka是否与目标kafka联通;如果源kafka与目标kafka联通,执行推送数据到目标kafka的逻辑,并通过kafka‑connector记录对应的推送位置。通过上述方式,本发明所公开的基于kafka‑connect的数据传递方法能够使得信息数据的推送效率高,接近于实时推送,而且会自动记录推送的位置,在断开之后重新连接,会在对应的位置重新续上,大大提升了用户的体验。

Patent Agency Ranking