-
公开(公告)号:CN115630085B
公开(公告)日:2023-03-28
申请号:CN202211533168.X
申请日:2022-12-02
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/242 , G06F16/22 , G06F40/253
Abstract: 本发明提供的一种数据库变量参数作用域控制方法、装置及设备,获取发送的SQL语句;解析所述SQL语句内各层查询语句间的嵌套关系;对目标查询语句进行语法合法性解析、语义合法性解析以及根据所述目标查询语句内预设的提示内容建立参数对象列表,并检查参数的合法性;建立所述目标查询语句的抽象语法树,将所述参数对象列表存储至所述抽象语法树的结构中;根据所述嵌套关系,将所述SQL语句内所有的抽象语法树构建为一个完整语法树;执行所述SQL语句的完整语法树,并返回执行结果。本申请所述的一种数据库变量参数作用域控制方法、装置及设备,实现对数据库变量参数的作用域进行更细粒度地控制。
-
公开(公告)号:CN117390465B
公开(公告)日:2024-02-20
申请号:CN202311686615.X
申请日:2023-12-11
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F18/22 , G06F16/2455 , G06F18/214 , G06F18/24 , G06F18/27
Abstract: 本发明创造提供了一种工作负载预测方法,该方法包括以下步骤:获取当前的负载信息;将当前的负载信息输入预先训练的预测模型;所述预测模型包括线性模型和非线性模型;计算非线性模型与线性模型的预测结果的比值,若比值大于指定的比例阈值,则输出非线性模型的预测结果;反之,则输出线性模型的预测结果。本发明创造中,在周期式、峰值式、渐变式等多种工作负载预测中均能够获得精确度较高的预测结果,且该预测方法中未采用额外的神经网络架构,训练时间更短,训练成本更低。
-
公开(公告)号:CN116069510B
公开(公告)日:2023-07-04
申请号:CN202310214005.3
申请日:2023-03-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本申请涉及一种数据处理方法、装置、电子设备和存储介质,应用于计算机技术领域,其中,该方法应用于计算引擎,所述计算引擎中包括一组算子,方法包括:将待处理数据进行切分,得到N份切分数据,其中,N为大于1的整数;对所述一组算子进行复制,得到M组算子,其中,M为大于1的整数;将所述切分数据分发至每组算子中。以解决现有技术中,采用算子内并行的方式,每次的互斥访问会造成计算引擎耗费较多的时间进行互斥运算,从而使得处理效率较低的问题。
-
公开(公告)号:CN116226237A
公开(公告)日:2023-06-06
申请号:CN202310474282.8
申请日:2023-04-27
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2458 , G06F16/242 , G06F16/2453
Abstract: 本申请提供的一种支持多个计算引擎的分布式查询计划生成方法及装置,涉及分布式数据查询领域,该方法包括:在一个数据库中集成多种计算引擎;生成不同的物理计划,对物理计划的代价进行评估,在生成物理计划过程中,包括:为不同的计算引擎支持不同的代价模型,生成所有计算引擎都会支持的物理计划和根据不同的计算引擎能力,为不同的计算引擎生成该引擎特有的物理计划;选择最优计划的同时确定执行该计划的最优计算引擎。本申请通过生成不同的物理计划化进行代价评估,相对以现有物理计划进行代价评估选出的物理计划,将更优越。
-
公开(公告)号:CN116069510A
公开(公告)日:2023-05-05
申请号:CN202310214005.3
申请日:2023-03-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本申请涉及一种数据处理方法、装置、电子设备和存储介质,应用于计算机技术领域,其中,该方法应用于计算引擎,所述计算引擎中包括一组算子,方法包括:将待处理数据进行切分,得到N份切分数据,其中,N为大于1的整数;对所述一组算子进行复制,得到M组算子,其中,M为大于1的整数;将所述切分数据分发至每组算子中。以解决现有技术中,采用算子内并行的方式,每次的互斥访问会造成计算引擎耗费较多的时间进行互斥运算,从而使得处理效率较低的问题。
-
公开(公告)号:CN115994037A
公开(公告)日:2023-04-21
申请号:CN202310286533.X
申请日:2023-03-23
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本申请提供一种集群数据库负载均衡方法,包括:获取集群数据库的可用数据节点信息;根据所述可用数据节点信息,将所述集群数据库的每一个协调点根据用户的查询语句生成的数据执行计划下发到每一个所述可用数据节点,包括:所述协调点根据发送给每一个所述可用数据节点的执行计划,判断每个可用数据节点的负载情况;根据所述负载情况确定每个所述可用数据节点下发执行计划包含的任务数。本申请通过根据每个数据节点不同任务数情况进行任务下发,当数据节点发生损坏的情况时,可以实现数据节点的负载均衡,提高数据查询效率。
-
公开(公告)号:CN117390064B
公开(公告)日:2024-03-19
申请号:CN202311697041.6
申请日:2023-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2453 , G06F16/28 , G06N3/044 , G06N3/0464
Abstract: 本发明创造提供了一种基于可嵌入子图的数据库查询优化方法,该方法包括以下步骤:从批量的数据库查询操作中提取常见子查询;所述常见子查询为出现比例超过指定阈值的查询操作;计算所述常见子查询的查询代价,并将所述常见子查询作为子节点嵌入用于数据库查询的代价估计树中。本发明创造中,将出现比例较高的,已有代价估计的常见子查询嵌入代价估计树中,以避免进行数据库查询时对这些子查询进行反复的代价估计,进而最小化累积效应,并减少重复查询,实现数据库查询的低能耗和高精度。
-
公开(公告)号:CN117390465A
公开(公告)日:2024-01-12
申请号:CN202311686615.X
申请日:2023-12-11
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F18/22 , G06F16/2455 , G06F18/214 , G06F18/24 , G06F18/27
Abstract: 本发明创造提供了一种工作负载预测方法,该方法包括以下步骤:获取当前的负载信息;将当前的负载信息输入预先训练的预测模型;所述预测模型包括线性模型和非线性模型;计算非线性模型与线性模型的预测结果的比值,若比值大于指定的比例阈值,则输出非线性模型的预测结果;反之,则输出线性模型的预测结果。本发明创造中,在周期式、峰值式、渐变式等多种工作负载预测中均能够获得精确度较高的预测结果,且该预测方法中未采用额外的神经网络架构,训练时间更短,训练成本更低。
-
公开(公告)号:CN115840539B
公开(公告)日:2023-05-16
申请号:CN202310107307.0
申请日:2023-02-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括:在获取到数据处理请求的情况下,确定数据处理请求对应的目标处理类型;若目标处理类型为读处理,根据数据处理请求确定出待读取数据在持久化数据文件中的物理行号及物理列号;基于预先将持久化数据文件切分的子表格的表格描述,确定包含物理行号对应的数据的目标子表格;利用物理行号以及数据单元的描述信息,从预先对目标子表格的物理列号对应的目标列划分的数据单元中,确定出包含物理行号对应的数据的目标数据单元;利用物理行号,确定出待读取数据在目标数据单元的逻辑行号;读取目标数据单元中逻辑行号记录的数据,以完成对待读取数据的读取处理。
-
公开(公告)号:CN115840539A
公开(公告)日:2023-03-24
申请号:CN202310107307.0
申请日:2023-02-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括:在获取到数据处理请求的情况下,确定数据处理请求对应的目标处理类型;若目标处理类型为读处理,根据数据处理请求确定出待读取数据在持久化数据文件中的物理行号及物理列号;基于预先将持久化数据文件切分的子表格的表格描述,确定包含物理行号对应的数据的目标子表格;利用物理行号以及数据单元的描述信息,从预先对目标子表格的物理列号对应的目标列划分的数据单元中,确定出包含物理行号对应的数据的目标数据单元;利用物理行号,确定出待读取数据在目标数据单元的逻辑行号;读取目标数据单元中逻辑行号记录的数据,以完成对待读取数据的读取处理。
-
-
-
-
-
-
-
-
-