-
公开(公告)号:CN116627965B
公开(公告)日:2025-03-18
申请号:CN202310473395.6
申请日:2023-04-25
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种分布式数据库的数据表处理方法、装置、设备及存储介质;分布式数据库包括多个节点;方法包括:获取分布式数据库中待连接的第一数据表和第二数据表,其中,第一数据表中的数据和第二数据表中的数据分散存储至多个节点中;获取第一数据表的第一数据分布以及第二数据表的第二数据分布;基于第一数据分布以及第二数据分布,对全量数据执行部分复制、部分重分布以及部分保持不变的操作,其中,全量数据包括第一数据表中的数据和第二数据表中的数据;对第一数据表中经过操作后的数据、以及第二数据表中经过操作后的数据进行连接操作,得到连接结果。通过本申请,能够解决数据倾斜问题,进而提高数据处理效率。
-
公开(公告)号:CN117688104B
公开(公告)日:2024-06-21
申请号:CN202410139143.4
申请日:2024-02-01
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455
Abstract: 本申请实施例提供了一种请求处理方法、装置、电子设备及存储介质。方法应用于协调节点,方法包括:对请求端发送的第一数据请求中的查询语句解析得到执行计划,若执行计划不需要分布式事务支持,计算按照第一访问方式访问目标数据与按照第二访问方式访问目标数据的代价差异,若基于代价差异确定按照第一访问方式访问目标数据的代价小于按照第二访问方式访问目标数据的代价,则向请求端反馈直连访问报文,以使请求端根据直连访问报文中的目标分片标识信息建立与目标数据分片所在目标数据节点之间的通信连接,并访问目标数据节点上目标数据分片中的目标数据以获得数据访问处理结果。通过上述方法,能够有效提升数据查询处理效率。
-
公开(公告)号:CN117591040A
公开(公告)日:2024-02-23
申请号:CN202410074857.1
申请日:2024-01-18
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F3/06 , G06F16/2455 , G06F16/22
Abstract: 本申请公开了一种数据处理方法、装置、设备以及可读存储介质,方法包括:获取待缓存的存储数据块;获取待缓存的存储数据块在远程存储数据库中的远程存储信息及远程属性信息;根据远程存储信息与远程属性信息,确定存储数据块在目标计算设备中对应缓存的本地文件名;在目标计算设备的本地磁盘内创建本地文件名唯一指示的本地文件,并将存储数据块缓存至本地文件名所唯一指示的本地文件。本申请可应用于地图领域、交通领域、自动驾驶领域、车载场景、云技术、人工智能、智慧交通和辅助驾驶等各种场景,提升数据查询请求。
-
公开(公告)号:CN117009439B
公开(公告)日:2024-01-23
申请号:CN202311279539.0
申请日:2023-10-07
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/2453 , G06F16/22 , G06F16/172 , G06F16/182 , G06F16/18 , G06F3/06 , G06F9/50
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,方法包括:获取针对日志结构合并树中的目标数据的写操作所产生的过期数据;基于目标关键字从每层数据层所包括的预设数量个磁盘文件中,查找过期数据所在的目标磁盘文件;将目标关键字写入目标磁盘文件所在的数据层所对应的缓存结构中;根据每层数据层所对应的缓存结构中的关键字的数量,对每层数据层所包括的磁盘文件中的过期数据进行回收处理。本申请能够对过期数据进行准确且高效的回收,从而提高分布式数据库的文件存储效率、系统性能和查询效率,减少分布式数据库的空间和资源的浪费。
-
公开(公告)号:CN117171129A
公开(公告)日:2023-12-05
申请号:CN202311112300.4
申请日:2023-08-30
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/21 , G06F16/242 , G06F16/2457
Abstract: 本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质,涉及数据库存储技术领域。该方法包括:从第一数据库系统的存储引擎中获取待解析日志;根据待解析日志的存储区域,从待解析日志中解析出键值对数据;基于预设的数据字典表、预设的元数据历史数据表和键值对数据生成针对待解析日志的第二结构化查询语句;通过第二数据库系统执行第二结构化查询语句,以实现第一数据库系统到第二数据库系统的数据迁移。本申请实施例通过对第一数据库系统对应的待解析日志进行键值对数据的解析,根据键值对数据生成适配于第一数据库系统和第二数据库系统的通用的第二结构化查询语句,实现不同数据库生态系统之间的数据迁移任务。
-
公开(公告)号:CN116821058B
公开(公告)日:2023-11-14
申请号:CN202311086103.X
申请日:2023-08-28
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/14 , G06F16/13 , G06F16/172
Abstract: 本申请公开了一种元数据访问方法、装置、设备及存储介质,涉及云技术领域,该方法采用了元数据全局缓存的方案,该缓存方案为全局缓存文件‑缓存描述数组‑内存块三层架构,且在共享内存中可以按照元数据的数据长度划分存储区域,则当目标进程需要获取目标元数据时,则可以按照上述的三层架构逐层往下查询,直至获得已缓存的目标元数据的目标地址信息,并将目标地址信息返回给目标进程,实现目标元数据的访问,这样一来,对于所有的工作进程而言,都可以按照该方法访问到自身所需的元数据,从而无需自行维护自己的元数据缓存,降低工作进程之间重复元数据缓存,降低了占用的内存资源,同时也减少了重复元数据的传输资源占用,提升了资源利用率。
-
公开(公告)号:CN116842039A
公开(公告)日:2023-10-03
申请号:CN202310810125.X
申请日:2023-06-30
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/242 , G06F16/245
Abstract: 本申请公开了一种数据表的查询方法和装置、存储介质及电子设备。其中,该方法包括:获取数据表查询请求;将数据表查询请求转换成第一组数据子表查询请求;生成第二组数据子表查询请求,其中,第二组数据子表查询请求与第一组数据子表查询请求不同;向服务器发送第一组数据子表查询请求和第二组数据子表查询请求,并获取服务器发送的与第一组数据子表查询请求对应的第一组查询结果和与第二组数据子表查询请求对应的第二组查询结果。本申请解决了数据表查询的安全性较低的技术问题。
-
公开(公告)号:CN115113994B
公开(公告)日:2023-06-20
申请号:CN202111003764.2
申请日:2021-08-30
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请公开了一种请求处理方法、装置、计算设备及存储介质,属于数据库技术领域。本申请通过对锁同步模式设置灵活的多个级别,在弱同步模式下,直接对数据请求对应的数据资源加锁,并执行该数据请求,能够保证数据请求优先推进,无需等待第二计算设备的响应,而在不是弱同步模式下,则获取各个第二计算设备的加锁反馈信息,在符合目标条件的情况下,才对该数据资源加锁并执行该数据请求,使得在不同业务场景下选取不同的锁同步模式,如在智慧交通场景下基于弱同步模式优先推进新增停车位的请求,但无需优先推进分享行程的请求,从而保证集群数据库能够满足不同业务场景的处理需求,提升了集群数据库系统的处理能力。
-
公开(公告)号:CN115098537A
公开(公告)日:2022-09-23
申请号:CN202111214946.4
申请日:2021-10-19
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/2453 , G06F16/242
Abstract: 本申请公开了一种事务执行方法、装置、计算设备及存储介质,属于数据库技术领域。本申请通过以数据块作为处理DDL事务的最小单元,使得在DDL事务执行中断时,能够方便地定位到执行中断前处理完毕的最后一个数据块,从而无需整体回滚该DDL事务,而是从下一个数据块开始继续执行该DDL事务,也避免了从头开始重做DDL事务的冗余工作量,提高了DDL语句所对应的DDL事务的成功率,且能够适用于各类业务场景下DDL事务的推进,如在智慧交通场景下新增停车位的描述信息属于一种DDL事务,该方法能够显著提升此类DDL事务的成功率,提高了数据库的资源利用率。
-
公开(公告)号:CN113515364B
公开(公告)日:2022-03-01
申请号:CN202111076493.3
申请日:2021-09-14
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请公开了一种数据迁移的方法及装置、计算机设备和存储介质,该方法涉及交通领域,并应用于负载均衡系统,负载均衡系统包括第一节点以及第二节点,该方法包括:第一节点获取第一路由分配表;第一节点接收到第一指令;第一节点基于第一指令所携带的第一主键标识,通过第一路由分配表获取第一分区标识;第一节点基于第一分区标识确定第二节点;第一节点将第一主键标识唯一标识的第一数据,传输至第二节点。通过上述方法,在事务需要在多个节点之间进行数据交互的场景下,基于主键标识以及分区标识之间的映射关系,确定需要迁移的数据以及确定数据迁移至哪个节点,不需要多个节点之间进行多次用户请求的转发,从而提升数据迁移的效率。
-
-
-
-
-
-
-
-
-