一种让Flink可以读写Tdengine的方法
    1.
    发明公开

    公开(公告)号:CN118535624A

    公开(公告)日:2024-08-23

    申请号:CN202410539385.2

    申请日:2024-04-30

    摘要: 本发明提供一种让Flink可以读写Tdengine的方法,包括Source模块、Sink模块和公共模块,通过Source模块读取数据,并将数据发送到Flink的数据流中,通过公共模块提供数据结构转换器和Tdengine连接器,数据结构转换器对数据流中的数据进行转换处理,转换处理后的数据由Sink进行批量处理,并将批量处理后需要存储的数据存储到Tdengine中。本发明提供的让Flink可以读写Tdengine的方法能够在企业级的Flink生产环境中进行使用,其支持实时的source和sink,同时支持Table API/Flink SQL和DataStream API,checkpoint和savepoint的状态恢复,其中sink中支持upsert,并动态支持tdengine扩容缩容。

    一种基于Tdengine的数据迁移系统及方法

    公开(公告)号:CN118132241A

    公开(公告)日:2024-06-04

    申请号:CN202410404510.9

    申请日:2024-04-07

    IPC分类号: G06F9/48 G06F9/50 G06F16/21

    摘要: 本发明公开了一种基于Tdengine的数据迁移系统及方法,涉及数据迁移技术领域,包括配置管理模块、分片管理单元、线程调度单元、结构转换单元、日志管理单元、异常管理单元;首先系统初始化配置管理模块并读取配置信息,获取所有的超级表并以各个超级表的起始时间开始创建线程任务,之后启动线程迁移任务,并对迁移过程进行实时监控。该系统在数据迁移过程中结合了表结构改造、分布式部署、多线程并发执行、实时监控和重跑等多种功能,极大地提高了数据迁移的效率和可靠性;同时这些功能也为操作人员提供了更好的管理和控制手段,使得数据迁移过程更加可靠和高效。