一种Kafka消息消费补偿方法、系统和介质

    公开(公告)号:CN116108110B

    公开(公告)日:2023-08-15

    申请号:CN202310404547.7

    申请日:2023-04-17

    Abstract: 本申请提供了一种Kafka消息消费补偿方法、系统和介质。属于数据库应用技术领域,该方法包括:通过源端将主数据库中的数据记录发送到Kafka消息流中并传输到管道中,将消费侧与消息流连接并与管道进行消息链接,对管道进行消息拉取生成执行信息并写入内存队列表再生成执行脚本,并写入内存队列表中,后将执行脚本写入副数据库中,通过守护线程监听内存队列表中的信息并对标记的错误信息进行补偿,对补偿后的消息重新拉取并写入副数据库;从而通过流式消息将主数据库中的数据记录发送到管道中,并从消费侧拉取消息生成执行信息和执行脚本写入内存列表,通过补偿将数据写入副数据库中,实现对消息消费的同步补偿技术。

    一种Kafka消息消费补偿方法、系统和介质

    公开(公告)号:CN116108110A

    公开(公告)日:2023-05-12

    申请号:CN202310404547.7

    申请日:2023-04-17

    Abstract: 本申请提供了一种Kafka消息消费补偿方法、系统和介质。属于数据库应用技术领域,该方法包括:通过源端将主数据库中的数据记录发送到Kafka消息流中并传输到管道中,将消费侧与消息流连接并与管道进行消息链接,对管道进行消息拉取生成执行信息并写入内存队列表再生成执行脚本,并写入内存队列表中,后将执行脚本写入副数据库中,通过守护线程监听内存队列表中的信息并对标记的错误信息进行补偿,对补偿后的消息重新拉取并写入副数据库;从而通过流式消息将主数据库中的数据记录发送到管道中,并从消费侧拉取消息生成执行信息和执行脚本写入内存列表,通过补偿将数据写入副数据库中,实现对消息消费的同步补偿技术。

Patent Agency Ranking