-
公开(公告)号:CN118051502B
公开(公告)日:2024-06-28
申请号:CN202410427319.6
申请日:2024-04-10
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种数据库的索引处理方法、装置、设备及可读存储介质;方法包括:当内存使用量大于第一阈值时,基于位于内存的第一索引树中的每个节点的访问密度,确定第一索引树中的释放节点;从第一索引树中,确定以释放节点作为根节点的第一子树;将第一子树的至少部分合并为位于磁盘的第二索引树的节点,并从第一索引树中删除第一子树中除释放节点外的其他节点;当内存使用量小于第二阈值时,将位于磁盘的第二索引树的至少一个节点迁移至内存。通过本申请,能够提高内存空间的利用率以及索引访问的效率。
-
公开(公告)号:CN118051502A
公开(公告)日:2024-05-17
申请号:CN202410427319.6
申请日:2024-04-10
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种数据库的索引处理方法、装置、设备及可读存储介质;方法包括:当内存使用量大于第一阈值时,基于位于内存的第一索引树中的每个节点的访问密度,确定第一索引树中的释放节点;从第一索引树中,确定以释放节点作为根节点的第一子树;将第一子树的至少部分合并为位于磁盘的第二索引树的节点,并从第一索引树中删除第一子树中除释放节点外的其他节点;当内存使用量小于第二阈值时,将位于磁盘的第二索引树的至少一个节点迁移至内存。通过本申请,能够提高内存空间的利用率以及索引访问的效率。
-
公开(公告)号:CN115114374B
公开(公告)日:2023-03-31
申请号:CN202210743434.5
申请日:2022-06-27
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/22 , G06F16/2453 , G06F16/242 , G06F16/2458
Abstract: 本申请公开了一种事务执行方法、装置、计算设备及存储介质,属于数据库技术领域。本申请通过在分布式数据库系统中预先定义将符合相似数据条件的数据记录尽可能存储在同一存储设备上,这样在涉及批量SQL操作的目标事务符合相似数据条件时能够确定一个目标存储设备,目标存储设备存储了目标事务涉及的所有数据记录,从而计算设备无需以2PC算法来协调目标事务,只需要将目标事务下推到目标存储设备,使得目标存储设备能够以单机事务的方式来执行目标事务,极大减少分布式数据库系统中需要以2PC算法协调的、涉及批量SQL操作的事务数量,简化了针对涉及批量SQL操作的事务的处理流程,提升了针对涉及批量SQL操作的事务的执行效率。
-
公开(公告)号:CN110377664B
公开(公告)日:2022-10-21
申请号:CN201910662737.2
申请日:2019-07-22
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本发明提供了一种数据同步方法、装置、服务器及存储介质,属于数据库技术领域。所述方法包括:通过获取数据库系统中主数据库和至少一个备数据库的同步耗时,该同步耗时用于表示主数据库和任一个备数据库之间进行数据同步时各个阶段所需的耗时,当该同步耗时大于第一目标时长时,将当前的系统同步模式切换至目标系统同步模式,在该目标系统同步模式下,当主数据库接收到数据库指令时,在无需任一备数据库对数据库指令的同步响应的前提下,将数据库指令的执行结果写入主数据库的磁盘中。主数据库在接收到数据库指令时无需再等待备数据库的应答,直接将执行结果写入磁盘即可,从而主数据库可以较快的执行数据库指令,提高数据库系统的处理性能。
-
公开(公告)号:CN117009439B
公开(公告)日:2024-01-23
申请号:CN202311279539.0
申请日:2023-10-07
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/2453 , G06F16/22 , G06F16/172 , G06F16/182 , G06F16/18 , G06F3/06 , G06F9/50
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,方法包括:获取针对日志结构合并树中的目标数据的写操作所产生的过期数据;基于目标关键字从每层数据层所包括的预设数量个磁盘文件中,查找过期数据所在的目标磁盘文件;将目标关键字写入目标磁盘文件所在的数据层所对应的缓存结构中;根据每层数据层所对应的缓存结构中的关键字的数量,对每层数据层所包括的磁盘文件中的过期数据进行回收处理。本申请能够对过期数据进行准确且高效的回收,从而提高分布式数据库的文件存储效率、系统性能和查询效率,减少分布式数据库的空间和资源的浪费。
-
公开(公告)号:CN106202441A
公开(公告)日:2016-12-07
申请号:CN201610552873.2
申请日:2016-07-13
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30 , G06F17/30292 , G06F17/3033 , G06F17/30545 , G06F17/30595 , H04L67/1097 , G06F17/303 , G06F17/30557 , G06F17/30566 , G06F17/30634
Abstract: 本发明实施例公开了一种基于关系型数据库的数据处理方法、装置和系统;本发明实施例在接收到客户端发送的数据处理请求后,可以根据该数据处理请求获取预设的路由表,其中,该路由表保存有关系型数据库的结构信息,(该关系型数据库包括多个子库,该子库包括多个分表,这些多个分表之间存在外键关联关系,该分表包括多个分片),然后,根据该数据处理请求中携带的分片字段和该路由表确定目标子库,并将该数据处理请求发送给该目标子库,以便该目标子库根据数据处理请求进行处理;该方案不仅实现简单,而且可以支持跨表的联合查询等功能,大大改善其性能。
-
公开(公告)号:CN117009439A
公开(公告)日:2023-11-07
申请号:CN202311279539.0
申请日:2023-10-07
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/2453 , G06F16/22 , G06F16/172 , G06F16/182 , G06F16/18 , G06F3/06 , G06F9/50
Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,方法包括:获取针对日志结构合并树中的目标数据的写操作所产生的过期数据;基于目标关键字从每层数据层所包括的预设数量个磁盘文件中,查找过期数据所在的目标磁盘文件;将目标关键字写入目标磁盘文件所在的数据层所对应的缓存结构中;根据每层数据层所对应的缓存结构中的关键字的数量,对每层数据层所包括的磁盘文件中的过期数据进行回收处理。本申请能够对过期数据进行准确且高效的回收,从而提高分布式数据库的文件存储效率、系统性能和查询效率,减少分布式数据库的空间和资源的浪费。
-
公开(公告)号:CN115114374A
公开(公告)日:2022-09-27
申请号:CN202210743434.5
申请日:2022-06-27
Applicant: 腾讯科技(深圳)有限公司
IPC: G06F16/27 , G06F16/22 , G06F16/2453 , G06F16/242 , G06F16/2458
Abstract: 本申请公开了一种事务执行方法、装置、计算设备及存储介质,属于数据库技术领域。本申请通过在分布式数据库系统中预先定义将符合相似数据条件的数据记录尽可能存储在同一存储设备上,这样在涉及批量SQL操作的目标事务符合相似数据条件时能够确定一个目标存储设备,目标存储设备存储了目标事务涉及的所有数据记录,从而计算设备无需以2PC算法来协调目标事务,只需要将目标事务下推到目标存储设备,使得目标存储设备能够以单机事务的方式来执行目标事务,极大减少分布式数据库系统中需要以2PC算法协调的、涉及批量SQL操作的事务数量,简化了针对涉及批量SQL操作的事务的处理流程,提升了针对涉及批量SQL操作的事务的执行效率。
-
公开(公告)号:CN110377664A
公开(公告)日:2019-10-25
申请号:CN201910662737.2
申请日:2019-07-22
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本发明提供了一种数据同步方法、装置、服务器及存储介质,属于数据库技术领域。所述方法包括:通过获取数据库系统中主数据库和至少一个备数据库的同步耗时,该同步耗时用于表示主数据库和任一个备数据库之间进行数据同步时各个阶段所需的耗时,当该同步耗时大于第一目标时长时,将当前的系统同步模式切换至目标系统同步模式,在该目标系统同步模式下,当主数据库接收到数据库指令时,在无需任一备数据库对数据库指令的同步响应的前提下,将数据库指令的执行结果写入主数据库的磁盘中。主数据库在接收到数据库指令时无需再等待备数据库的应答,直接将执行结果写入磁盘即可,从而主数据库可以较快的执行数据库指令,提高数据库系统的处理性能。
-
公开(公告)号:CN118606398B
公开(公告)日:2025-03-18
申请号:CN202311470163.1
申请日:2023-11-06
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请关于一种数据分片处理方法、装置、设备、存储介质及程序产品,涉及分布式存储技术领域。该方法包括:响应于对数据库中的第一数据分片的分裂指令,创建第二数据分片;暂停基于第一数据分片执行的事务进入提交阶段;响应于第一数据分片中已进入提交阶段的事务提交完毕,暂停第一数据分片对应的新事务进入读写阶段;将第一事务数据从第一数据分片转移到第二数据分片;第一事务数据是第一事务的数据中,对应分裂后的第二数据分片的数据;响应于第一事务数据转移完成,恢复第一数据分片对应的事务进入读写阶段以及提交阶段。本申请能够在保证分布式事务的执行效率的同时,降低阻塞事务的时间。
-
-
-
-
-
-
-
-
-