数据处理方法、数据查询方法及装置

    公开(公告)号:CN117271513A

    公开(公告)日:2023-12-22

    申请号:CN202311213927.9

    申请日:2023-09-19

    摘要: 本说明书一个或多个实施例提供一种数据处理方法、数据查询方法及装置,涉及数据库技术领域。该方法应用于基于日志结构合并LSM树的数据库,数据库包括有序字符串表SSTable,SSTable存储有聚合数据。本说明书提供的方案,能够响应于针对目标数据的合并操作,将目标数据合并至SSTable;根据合并至SSTable的目标数据,更新SSTable中存储的聚合数据。本说明提供的方案,可以使数据库基于LSM树的多版本数据存储能力,在发生数据合并时,更新SSTable中存储的聚合数据,期间不会产生额外的资源开销;并在发生数据查询时,自动感知聚合数据的有效性,从而能够加速数据查询过程,并输出正确的查询结果。

    数据处理方法、装置、设备及介质

    公开(公告)号:CN117130995A

    公开(公告)日:2023-11-28

    申请号:CN202310982298.X

    申请日:2023-08-04

    IPC分类号: G06F16/18 G06F16/16 G06F16/13

    摘要: 本说明书提供一种数据处理方法、装置、设备及介质。通过在接收到用于在目标数据文件中写入待写入数据的数据写入请求时,获取待写入数据在目标数据文件中的目标写入位置以及目标数据文件中的已存储数据结束位置,基于目标写入位置以及已存储数据结束位置,从待写入数据中拆分出以已存储数据结束位置的后一位置作为起始位置的数据部分作为待写入的目标数据,以生成目标数据对应的待写入文件,进而按照目标数据存储位置的指示,将待写入文件存储至目标数据文件中。由于是以文件的形式写入的,所以无需对已写入的文件进行修改或覆盖之类的操作,但是可以达到一种将数据添加到已存储数据之后的效果,也即达到一种数据追加写操作的效果。

    数据处理的方法、装置、电子设备及存储介质

    公开(公告)号:CN117113271A

    公开(公告)日:2023-11-24

    申请号:CN202311002144.6

    申请日:2023-08-09

    发明人: 杨海涛

    IPC分类号: G06F18/25 G06F18/241

    摘要: 本申请涉及数据处理技术领域,具体提供了一种数据处理的方法、装置、电子设备及存储介质。一种数据处理的方法,包括存储层基于执行引擎的数据聚合指令,对目标数据块进行数据读取,获得类别值集合;根据类别值集合中的类别值,对待聚合数据进行分组和聚合,获得每一类别值对应的聚合结果;基于数值转换关系,分别获得每一类别值对应的类别参数;将类别参数及其对应的聚合结果,发送给执行引擎。这样,将数据分组以及聚合运算下推到存储层,以基于数据块局部对应设置的数值转换关系进行数值转换以及分组聚合运算,从而可以获得并上传分组聚合结果,减少了数据传输量,提高了数据处理效率。

    内存管理方法及装置、电子设备及存储介质

    公开(公告)号:CN116860439A

    公开(公告)日:2023-10-10

    申请号:CN202310764892.1

    申请日:2023-06-26

    IPC分类号: G06F9/50 G06F3/06 G06F16/2455

    摘要: 本说明书一个或多个实施例提供一种内存管理方法及装置、电子设备及存储介质,方法包括:响应于永久存储设备内第一数据被访问,在内存中的第一对象池内确定第一目标对象,并在第一目标对象内缓存第一数据的部分或全部字段,其中,第一对象池内包括多个容量相同的第一对象,第一目标对象为第一对象池中的一个第一对象;响应于第一目标对象被第一数据的部分字段填满,且第一数据的其他字段被访问,在内存中的第二对象池内确定第二目标对象,并在第二目标对象内缓存第一数据的全部字段,其中,第二对象池内包括多个容量相同的第二对象,第二对象的容量大于第一对象的容量,第二目标对象为第二对象池中的一个第二对象。

    一种数据查询的方法、装置、设备及存储介质

    公开(公告)号:CN116521713B

    公开(公告)日:2023-09-12

    申请号:CN202310805159.X

    申请日:2023-06-30

    发明人: 乔琳俊

    摘要: 本说明书公开了一种数据查询的方法、装置、设备及存储介质,可以通过对数据表中每个数据区间的数据进行预处理的方式,将数据的存储参数作为元数据进行保存,以使每个数据只需要保存对应的尾数即可,从而可以针对保存的所有数据的存储参数相同的数据区间,可以直接通过比较存储参数的方式,确定出该数据区间中包含的所有数据与查询条件值之间的大小关系,进而可以便于提升在按条件对Decimal类型的数据进行数据查询操作时的查询效率。

    一种失配值的处理方法、系统以及电子设备

    公开(公告)号:CN110032563B

    公开(公告)日:2023-08-22

    申请号:CN201910121469.3

    申请日:2019-02-19

    发明人: 张博 余璜 刘彬 潘毅

    IPC分类号: G06F16/22 G06F16/28

    摘要: 本说明书的一个或多个实施例公开了一种失配值的处理方法、系统以及电子设备,通过生成重分区计划,具体包括生成被重分区表与参照表之间的连接方式、被重分区表与参照表之间的重分区方式、以及不同约束重分区方式和约束连接方式采用的执行策略。当被重分区表按照参照表的分区方式进行重分区,并且被重分区表与参照表按照所述连接方式进行连接的过程中出现失配值时,根据判断所述预设连接方式是否为所述约束连接方式,以及所述预设重分区方式是否为所述约束重分区方式的结果,选择所述执行策略对所述失配值进行处理。

    查询语句检测方法及装置、存储介质

    公开(公告)号:CN116610700A

    公开(公告)日:2023-08-18

    申请号:CN202310485291.7

    申请日:2023-04-28

    发明人: 张笑 杨航

    IPC分类号: G06F16/2453

    摘要: 本说明书一个或多个实施例提供一种查询语句调优检测方法及装置、存储介质,该方法包括:获取数据库开发平台的查询语句;生成与查询语句对应的抽象语法树;对抽象语法树进行语义分析,得到与抽象语法树对应的关系代数;基于所述关系代数,对所述查询语句所进行的查询操作进行等价变换,以得到调优检测结果,所述调优检测结果用于指示所述查询语句是否存在优化空间。本公开通过将查询语句转换为关系代数,得到由关系代数表达的逻辑执行计划,从而体现操作间的逻辑关系,且可以通过关系代数的运算法则对逻辑执行计划进行等效变化,从而达到更强大且更准确的调优功能,另外,由于不涉及到查询接口的统计,因此不会带来额外的系统负担。

    针对目标数据库进行插件管理的方法及装置

    公开(公告)号:CN116610384A

    公开(公告)日:2023-08-18

    申请号:CN202310611036.2

    申请日:2023-05-26

    发明人: 谌超

    IPC分类号: G06F9/445 G06F9/52 G06F16/25

    摘要: 本说明书实施例提供一种针对目标数据库进行插件管理的方法,通过旁路运行于目标数据库之外的第一插件管理器执行,包括:接收启动指令,其中至少指示出第一标识。响应于启动指令,从处于待运行状态的各个插件中,读取对应于第一标识的第一插件。其中单个插件用于通过调用目标数据库的接口或者基于目标数据库中的数据,针对下游服务提供目标数据库的一项衍生功能。判断第一插件是否添加有单实例标签。在第一插件添加有单实例标签的情况下,争抢启动锁,并在争抢到启动锁的情况下,启动第一插件对应的第一实例,该启动锁用于保证针对第一插件启动单个实例。

    数据库分区表管理方法及装置
    19.
    发明公开

    公开(公告)号:CN116541399A

    公开(公告)日:2023-08-04

    申请号:CN202310513170.9

    申请日:2023-05-08

    发明人: 刘毅

    IPC分类号: G06F16/22 G06F16/27

    摘要: 本说明书一个或多个实施例提供一种数据库分区表管理方法及装置,涉及数据库技术领域。该方法包括获取依赖关系序列,所述依赖关系序列用于示出数据库中各个分区表之间的依赖关系;根据所述依赖关系序列,依序执行每个分区表对应的分区表管理策略,其中,在后执行的分区表管理策略对应的分区表不依赖在先执行的分区表管理策略对应的分区表。本说明书提供的方案,通过预先获取各个分区表之间的依赖关系,使分区表管理策略能够根据依赖关系依序执行,避免了由于依赖关系导致的分区过期时分区表发生错误的问题。

    一种数据查询的方法、装置、介质及设备

    公开(公告)号:CN116521734A

    公开(公告)日:2023-08-01

    申请号:CN202310442731.0

    申请日:2023-04-23

    摘要: 本说明书公开了一种数据查询的方法、装置、介质及设备,接收指定操作请求,根据待操作数据对应的主键,在基线数据中查找该主键。根据查询结果和指定操作请求,确定查询结果对应的基线逻辑行号,根据该基线逻辑行号确定待操作数据对应的增量逻辑行号。确定待操作数据以及增量逻辑行号的对应关系,作为增量数据存储。当接收到查询请求时,根据查询请求的查询范围,确定基线数据的第一查询结果以及增量数据的第二查询结果,并根据第一查询结果中各基线数据对应的基线逻辑行号,以及第二查询结果中各增量数据对应的增量逻辑行号,进行查询结果合并,确定最终查询结果。根据增量逻辑行号与基线逻辑行号对查询到的数据进行合并,提高了数据查询的效率。