一种基于KV的数据库逻辑计划缓存方法与装置

    公开(公告)号:CN114610724B

    公开(公告)日:2024-10-29

    申请号:CN202210382223.3

    申请日:2022-04-13

    发明人: 史大义 冯友旭

    摘要: 本发明特别涉及一种基于KV的数据库逻辑计划缓存方法与装置。该基于KV的数据库逻辑计划缓存方法与装置,解析用户SQL请求文本,提取用户输入变量编译并优化生成完整逻辑计划,生成索引和反向索引缓存,缓存逻辑计划;使用时解析后续收到的用户SQL请求文本,用新提取的用户输入变量重新计算KV常量表达式,并替换逻辑计划中对应的KV值,生成新的逻辑计划;当统计信息发生改变时,使用反向索引查找变化表相关的逻辑计划进行淘汰,清空对应得存储空间,更新逻辑计划缓存。该基于KV的数据库逻辑计划缓存方法与装置,不仅实现了分布式NEWSQL数据库管理系统下的逻辑计划缓存,还实现了用户请求SQL的逻辑计划复用,提高了数据库的访问性能,减少了系统资源损耗。

    一种面向用户需求的智能化OPC UA数据采集方法及系统

    公开(公告)号:CN118819035A

    公开(公告)日:2024-10-22

    申请号:CN202410817354.9

    申请日:2024-06-24

    发明人: 李新志 金宁

    IPC分类号: G05B19/042

    摘要: 本发明涉及工业物联网技术领域,具体提供了一种面向用户需求的智能化OPC UA数据采集方法及系统,首先,元数据采集模块Metadata‑Collector定时触发读取OPC UA设备的全部点位属性信息,然后,元数据监测模块Metadata‑Monitor监控元数据采集模块Metadata‑Collector定时读取的点位属性元数据信息,最后,业务数据采集模块Data‑Collector读取元数据采集模块Metadata‑Collector采集到的点位数据。与现有技术相比,本发明能够满足根据用户需求实现对OPC UA设备特定数据的采集,实现高度定制化采集数据。

    基于无中心架构分布式数据库的内存表查询方法及系统

    公开(公告)号:CN114238339B

    公开(公告)日:2024-10-18

    申请号:CN202111579001.2

    申请日:2021-12-22

    发明人: 刘浩喆

    摘要: 本发明公开了基于无中心架构分布式数据库的内存表查询方法及系统,属于数据库查询技术领域,要解决的技术问题为如何实现内存表的快速访问、快速查询。包括如下步骤:在数据库客户端定义内存表;创建对应的内存表元数据管理器;如果所述数据库原始表中存储有表数据,将数据库原始表中表数据拉取至当前操作的数据节点内存中,并更新内存表元数据管理器的内存数据拉取完成标识;创建并执行查询计划,如果数据库原始表指定为内存表、且数据节点内存中已存在内存表的表数据,则基于元数据管理器的属性创建当前查询的查询状态记录器,并分流为内存表查询或数据库原始查询;否则,当前查询执行数据库原始查询。

    基于时序数据库的插入语句短接方法及系统

    公开(公告)号:CN118535593A

    公开(公告)日:2024-08-23

    申请号:CN202410357174.7

    申请日:2024-03-27

    摘要: 本发明公开了基于时序数据库的插入语句短接方法及系统,属于数据库技术领域,要解决的技术问题为在保证长度校验、类型校验的同时缩减了执行的流程,加快了insert语句的执行速度。包括如下步骤:对用户输入的SQL语句进行解析,通过插入语句固定格式的方式获取数据库名、插入的表名、插入的列名以及对应的列值;进行鉴权;根据数据库名和表名判断是否为时序表,并获取列的元数据信息;跳过parser阶段,根据列的元数据信息进行类型转换以及长度校验,将转换后的结果拼接成payload发送至存储引擎;由存储引擎进行插入操作,并根据插入行数或错误信息返回用户。

    一种适用于时序存储的动态时间分区方法及系统

    公开(公告)号:CN118445329A

    公开(公告)日:2024-08-06

    申请号:CN202410517849.X

    申请日:2024-04-28

    发明人: 李盟 贾德星

    IPC分类号: G06F16/2458 G06F16/22

    摘要: 本发明公开了一种适用于时序存储的动态时间分区方法及系统,属于时序存储优化技术领域,通过时间分区计算算法,在不同分区时间间隔情况下,将时序数据进行动态分区,进而落盘到对应的分区存储空间中;实现包括:时序表分区时间间隔设置;时序数据的分区数据写入,计算时序数据所属分区信息,并将时序数据写入对应的分区;时序数据的分区数据读取,根据数据时间范围计算起始时间和终止时间所在分区信息,对所述分区进行数据查询;时间分区计算算法:该算法根据给定时间戳,判断该时间戳属于哪个时间分区,并做到以存储记录的分区时间间隔为单位,进行动态分配时间分区。本发明能够在合理调整时间分区间隔的情况下,提升时间范围查询性能。

    分布式关系型数据库join表智能重分布关联数据的方法及系统

    公开(公告)号:CN118394858A

    公开(公告)日:2024-07-26

    申请号:CN202410559379.3

    申请日:2024-05-08

    摘要: 本发明公开了分布式关系型数据库join表智能重分布关联数据的方法及系统,属于关系型数据库和时序数据库技术领域,该方法的实现包括:所述分布式关系型数据库模型表包括主键和外键,分布式关系型数据库模型表通过外键来联络或者指向另外一张表的主键对应的数据行,该表的外键和另外一张表的主键是同一个键值;通过这个键值的共享,将不同表间的行数据关联起来;智能检测关联数据,包括智能锁定显性主外键外键的关联数据、智能检测隐性关联数据、智能检测小而稳定的表;关联数据重分布,在关联数据被智能检测到后,把关联数据的表存入关联连通图里。本发明能够大大提高分布式关系型数据库join数据的获取效率和操作性能。

    一种数据库系统的授权方法及装置

    公开(公告)号:CN117056954B

    公开(公告)日:2024-06-21

    申请号:CN202311041490.5

    申请日:2023-08-18

    发明人: 陈磊 夏博涵

    IPC分类号: G06F21/60 G06F21/62

    摘要: 本发明涉及软件授权技术领域,具体提供了一种数据库系统的授权方法及装置,数据库公司为客户分配一个License ID并将其加载到数据库中,所述数据库启动后会生成一个集群ID,每个License ID在同一时间仅持有一个集群ID,并由数据库向License server发送带有License ID和集群ID的请求完成授权认证,License server将License限制信息返回给数据库。与现有技术相比,本发明通过同一License证书在同一时间只能给一个数据库集群使用的特点,可以防止证书被复制后滥用。

    分布式数据库于多region部署场景下的SQL执行优化方法

    公开(公告)号:CN114817402B

    公开(公告)日:2024-06-21

    申请号:CN202210437787.2

    申请日:2022-04-25

    摘要: 本发明公开分布式数据库于多region部署场景下的SQL执行优化方法,涉及分布式数据库优化领域;根据kv存储模式下的分布式数据库,配置分布式数据库表的Range副本策略,根据Range副本策略部署分布式数据库表在多region场景下的Range副本分布:每个region包含至少一个数据库节点,每个数据库节点根据Range副本策略部署分布式数据库表的Range副本;根据分布式数据库表在多region场景下的副本分布,对分布式数据库表执行region下相应操作时转换为包含分布式数据库表的Range副本的分布式数据库节点进行相关操作。

    基于ClickHouse数据库的pipeline的缓存优化方法及系统

    公开(公告)号:CN114328598B

    公开(公告)日:2024-06-11

    申请号:CN202111428731.2

    申请日:2021-11-29

    发明人: 黄向阳 贾德星

    摘要: 本发明公开了基于ClickHouse数据库的pipeline的缓存优化方法及系统,属于数据缓存技术领域,本发明要解决的技术问题为如何优化缓存,进而提高sql的执行效率,采用的技术方案为:该方法是将每一条的sql首次生成的interpreter解释器与sql本身保存下来,在每次执行sql流程前,比较是不是与缓存的sql是同一条sql;再采用缓存的interpreter解释器修改后,进行查询,并用所对应的sql作为索引进行查找替换操作;再生成QueryPlan逻辑计划及生成pipeline物理计划的流程,并通过与Mergetree存储引擎进行交互,读取数据后返回请求结果。该系统包括客户端、分析选择查询模块、AST抽象语法树、interpreter解释器、QueryPlan逻辑计划模块及pipeline物理计划模块。

    一种基于哈希表与LSM树的键值存储方法

    公开(公告)号:CN113821171B

    公开(公告)日:2024-06-11

    申请号:CN202111019356.6

    申请日:2021-09-01

    IPC分类号: G06F3/06 G06F16/22

    摘要: 本发明公开了一种基于哈希表与LSM树的键值存储方法,属于计算机存储领域;所述的方法具体步骤如下:S1利用键值将数据和索引分开存储;S2利用哈希索引将键值数据进行封装;S3在跳表合并中对有序索引中的数据进行合并;S4利用哈希索引将键值数据进行查询,并将查询结果返回;S5对数量或大小超过阈值的键值数据日志文件发起数据合并;S6将数据合并的操作过程与结果进行存储;采用键值分离的思想将数据与索引分开存储,利用哈希索引对外提供高效写入与读取的操作能力,利用基于LSM树的有序索引实现快速的范围查询功能,解决现有键值存储系统读、写操作延迟高,数据量较大时产生的读、写以及空间放大等问题。