-
公开(公告)号:CN118132530A
公开(公告)日:2024-06-04
申请号:CN202211539723.X
申请日:2022-12-02
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F16/21
Abstract: 本申请涉及大数据技术领域,公开了一种数据采集方法、装置、电子设备及存储介质,该方法包括:若业务系统中需要采集的租户数据库的结构发生变更,获取租户数据库的变更信息,变更信息指示了变更后需要进行数据采集的源数据表和源数据表中需要进行数据采集的第一字段;根据源数据表中的第一字段和第一字段在源数据表中的字段类型,生成源数据表对应的目的表,第一字段在源数据表中的字段类型与第一字段在目的表中的字段类型相同;获取任务分配信息;控制多个节点并行执行所对应的采集任务,以并行从多个源数据表中采集数据,并将所采集到的数据写入与所来源的源数据表对应的目的表中;本申请可以提升数据采集效率。