-
公开(公告)号：CN113076365B
公开(公告)日：2024-05-10
申请号：CN202110374388.1
申请日：2021-04-07
申请人： 杭州数梦工场科技有限公司
摘要： 本发明实施例提供一种数据同步方法、装置、电子设备及存储介质。本发明实施例通过生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库，能够批量创建用于进行数据同步的ETL任务，提高了ETL任务的配置效率和数据同步效率。
-
公开(公告)号：CN117675840A
公开(公告)日：2024-03-08
申请号：CN202311631586.7
申请日：2023-11-30
申请人： 杭州数梦工场科技有限公司
IPC分类号： H04L67/1095 , H04L67/06
摘要： 本说明书提供一种文件同步方法、装置、电子设备及存储介质。所述方法包括：在检测到文件更新后，读取待同步的第一文件；为第一文件生成在中转文件服务端中的第一存储路径；第一存储路径用于区分针对同一文件的多次同步操作；将第一文件存储至中转文件服务端中的第一存储路径，并记录第一文件的第一标识、第一存储路径和同步操作类型，以使下游文件交换平台根据第一存储路径获取第一文件，并根据第一文件的第一标识和同步操作类型对第一文件进行同步操作；第一标识表示第一文件在下游业务文件服务器的存储路径。本方案使每一次文件同步操作与其他文件同步操作区分开，避免上游交换平台和下游交换平台在进行不同的文件同步操作时发生错误。
-
公开(公告)号：CN113836238A
公开(公告)日：2021-12-24
申请号：CN202111164186.0
申请日：2021-09-30
申请人： 杭州数梦工场科技有限公司
摘要： 本申请提供一种数据命令的批量处理方法及装置、电子设备、存储介质，该方法可以包括：从命令队列中读取针对目标数据库集群的数据命令集合；确定所述数据命令集合中分别对应于所述数据库集群中各个集群节点的数据命令组；当任一数据命令组包含多条数据命令时，基于管道技术将所述任一数据命令组中的所有数据命令合并为相应的批量处理请求；将所述批量处理请求提交至所述任一数据命令组对应的目标集群节点，以使所述目标集群节点对所述批量处理请求中包含的数据命令进行批量处理。
-
公开(公告)号：CN117632527A
公开(公告)日：2024-03-01
申请号：CN202311639308.6
申请日：2023-11-29
申请人： 杭州数梦工场科技有限公司
摘要： 本公开提出了一种基于主键冲突检测的数据写入方法、装置、设备及介质，涉及大数据技术领域，方法包括：响应于针对待写入数据的写入请求，在将待写入数据写入目的表之前，获取待写入数据的第一主键以及目的表中各条记录的第二主键；根据第一主键和各第二主键，确定待写入数据中是否存在主键冲突的目标数据，若是，则根据目标冲突处理策略，对目标数据进行冲突处理，若否，则将待写入数据写入目的表。由此，在数据写入之前，一次性地检测出待写入数据中所有的主键冲突的目标数据，而无需与数据库进行多次交互，由数据库每次检测并返回一条主键冲突的目标数据，可以提升数据的写入效率。
-
公开(公告)号：CN116527655A
公开(公告)日：2023-08-01
申请号：CN202310453286.8
申请日：2023-04-21
申请人： 杭州数梦工场科技有限公司
发明人： 张鹏
IPC分类号： H04L67/06 , H04L67/1095 , G06F16/178 , G06F16/182
摘要： 本申请提出了一种批量文件同步方法、装置及电子设备，涉及大数据技术领域，方法包括：获取待同步的目标文件；判断目标文件是否执行过同步操作；在目标文件执行过同步操作的情况下，获取目标文件的同步结果；在目标文件的同步结果指示同步失败的情况下，获取目标文件的断点信息；根据断点信息同步目标文件。由此，通过维护批量文件是否执行过同步操作、同步结果以及在同步结果指示同步失败的情形下的断点信息，从而可实现在每次同步批量文件时，同步或传输同步失败的各文件，而不同步或传输同步成功的各文件，可以避免发生文件重复同步的情况，降低批量文件的同步时长、网络和资源的开销。且，可实现批量文件的断点续传，降低批量文件的同步成本。
-
公开(公告)号：CN115757621A
公开(公告)日：2023-03-07
申请号：CN202211418536.6
申请日：2022-11-14
申请人： 杭州数梦工场科技有限公司
摘要： 本申请提出了一种数据同步方法、装置、电子设备及存储介质，涉及大数据技术领域，方法包括：获取至少一条待处理数据；响应于待处理数据对应的更新指令对目标数据库进行更新；在更新失败的情况下，将待处理数据缓存至目标内存中；在目标内存的缓存数据量达到设定的数据量阈值时，将目标内存中的缓存数据导入目标数据库。由此，可以实现自动对目标数据库中的存储数据进行更新，且通过采用缓存机制，先缓存目标数据库中不存在的数据，再将缓存的批量数据导入目标数据库可以提高目标数据库的导入性能。
-
公开(公告)号：CN113076365A
公开(公告)日：2021-07-06
申请号：CN202110374388.1
申请日：2021-04-07
申请人： 杭州数梦工场科技有限公司
摘要： 本发明实施例提供一种数据同步方法、装置、电子设备及存储介质。本发明实施例通过生成目标转换模板，所述目标转换模板配置的转换节点包括至少一个输入节点和一个输出节点，加载所述目标转换模板的输入节点对应的源数据库信息以及所述目标转换模板的各个输出节点对应的目的数据库信息，并确定源数据库中待同步的多个源数据表，根据所述目标转换模板，批量创建所述多个源数据表对应的ETL任务，通过所述ETL任务同步所述多个源数据表的数据至目的数据库，能够批量创建用于进行数据同步的ETL任务，提高了ETL任务的配置效率和数据同步效率。
-
公开(公告)号：CN117640451A
公开(公告)日：2024-03-01
申请号：CN202311473032.9
申请日：2023-11-06
申请人： 杭州数梦工场科技有限公司
IPC分类号： H04L43/0811 , H04L67/10 , G06F11/30
摘要： 本申请提供一种云平台数据库连通性检测方法、装置、设备及介质。所述数据库配置管理系统部署在云平台上。所述方法包括：获取待检测主机的数据库配置信息；生成针对所述待检测主机的连通性检测请求，其中，所述连通性检测请求包含所述数据库配置信息；分别将所述连通性检测请求下发到对应的待检测主机上部署的代理端，以使所述代理端检测所述待检测主机与数据库之间的连通性；接收所述代理端返回的检测结果。
-
公开(公告)号：CN116226272A
公开(公告)日：2023-06-06
申请号：CN202211697096.2
申请日：2022-12-28
申请人： 杭州数梦工场科技有限公司
发明人： 张鹏
摘要： 本发明提出一种数据同步方法及装置，通过查询源数据库中需同步数据的总条数，根据统计的已完成同步数据条数与查询的所述总条数，查询源数据库，以同步排序在已完成同步数据条数与总条数之间的数据。响应于成功同步至少部分数据，基于成功同步的数据条数，更新已完成同步数据条数。在数据同步过程中，通过记录已完成同步数据条数，并基于该已完成同步数据条数，通过两次数据库查询，便可以实现断点续传，与相关技术相比，减少查询次数，提升断点续传效率。本申请记载的方案在数据同步成功之后才会更新已完成同步数据条数(即更新断点位置)，与相关技术相比，写入失败的数据不会被记为断点位置，会被重写，不会丢失，解决了数据可能丢失的问题。
-
公开(公告)号：CN112783848A
公开(公告)日：2021-05-11
申请号：CN202110077782.9
申请日：2021-01-20
申请人： 杭州数梦工场科技有限公司
发明人： 张鹏
IPC分类号： G06F16/178 , G06F16/176 , G06F16/27 , G06F16/25 , G06F16/23
摘要： 本申请提供一种数据同步方法及装置，所述方法包括：检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；如果不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。本申请可以缩短从目标文件夹的数据中检测出增量数据的耗时，从而提高数据同步的效率。
-
-
-
-
-
-
-
-
-
搜索结果
11 条记录 (耗时 0.042 秒)
