-
公开(公告)号:CN119225940A
公开(公告)日:2024-12-31
申请号:CN202411720389.7
申请日:2024-11-28
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 李春华
IPC: G06F9/48 , G06F9/50 , G06F16/2453
Abstract: 本发明提供了一种用于数据库的任务处理方法、装置及设备,可以应用于计算机技术领域。该方法包括:将从多个待处理任务中确定的多个目标任务均分给多个可用线程,得到针对多个目标任务的分配方式;在确定多个待处理任务中存在除目标任务之外的剩余任务的情况下,基于剩余任务的数量和可用线程的数量,将剩余任务模拟分配给多个可用线程,得到多个模拟分配结果;基于预设预处理时长和预设任务处理时长,确定多个模拟分配结果各自的任务处理耗时;将多个模拟分配结果中任务处理耗时最短的模拟分配结果作为针对剩余任务的分配方式;基于针对目标任务的分配方式和针对剩余任务的分配方式,得到针对多个待处理任务的分配方式。
-
公开(公告)号:CN118277456A
公开(公告)日:2024-07-02
申请号:CN202410704629.8
申请日:2024-06-03
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2458 , G06F16/22 , H04L67/1023 , H04L67/1029 , H04L67/1061 , H04L67/1095 , G06F16/27
Abstract: 本发明提供一种MPP分布式系统中的发起节点输出方法,涉及数据库技术领域,该方法包括:采集数据库集群中的节点数量及节点IP,根据分片信息进行排序获得节点分片及节点IP的第一映射关系;采集服务器信息,创建计算节点与管理节点的IP距离矩阵,获得距离矩阵;为每个计算节点分配多个哈希桶并记录计算节点与哈希桶的对应关系,并根据nodedatamap表信息及对应关系获取节点分片与计算节点的第二映射关系;提取查询语句的过滤条件中的哈希键,并根据哈希键查询获得计算节点的节点IP;由距离矩阵,根据节点IP查询结果查询计算节点和管理节点极小值,将对应节点作为发起节点输出,本发明能够选择最优发起节点,节省网络开销。
-
公开(公告)号:CN106354585A
公开(公告)日:2017-01-25
申请号:CN201610777563.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
CPC classification number: G06F11/1415
Abstract: 本发明提供一种数据库集群多数据分片备份的部署方法及装置,所述方法包括:获取数据库集群中的节点数量;获取数据库集群中每个节点对应的数据分片数量;按照预设的规则配置备份分片;算所述配置备份分片的可靠性,选取最优可靠性作为部署方法。通过预定的规则配置多种备份分片的部署方式,并选取其中可靠性最高的配置方式作为部署方式,可进行最优可靠性部署,并大程度保障集群的可靠性。
-
公开(公告)号:CN119225940B
公开(公告)日:2025-03-21
申请号:CN202411720389.7
申请日:2024-11-28
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 李春华
IPC: G06F9/48 , G06F9/50 , G06F16/2453
Abstract: 本发明提供了一种用于数据库的任务处理方法、装置及设备,可以应用于计算机技术领域。该方法包括:将从多个待处理任务中确定的多个目标任务均分给多个可用线程,得到针对多个目标任务的分配方式;在确定多个待处理任务中存在除目标任务之外的剩余任务的情况下,基于剩余任务的数量和可用线程的数量,将剩余任务模拟分配给多个可用线程,得到多个模拟分配结果;基于预设预处理时长和预设任务处理时长,确定多个模拟分配结果各自的任务处理耗时;将多个模拟分配结果中任务处理耗时最短的模拟分配结果作为针对剩余任务的分配方式;基于针对目标任务的分配方式和针对剩余任务的分配方式,得到针对多个待处理任务的分配方式。
-
公开(公告)号:CN106383845A
公开(公告)日:2017-02-08
申请号:CN201610777712.3
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/284 , G06F16/21
Abstract: 本发明提供一种基于共享存储的MPP数据库数据重分布系统,包括共享存储系统、MPP集群管理节点和MPP集群分布式计算节点。一种基于共享存储的MPP数据库数据重分布系统,用于解决现有MPP数据库中数据重分布的性能问题。该方法能够依据分布式存储系统,使MPP数据库在计算节点扩容时,快速实现数据的重分布,避免现有MPP系统数据重分布的性能问题以及业务并发问题,使在线业务几乎不影响。
-
公开(公告)号:CN118277456B
公开(公告)日:2024-09-20
申请号:CN202410704629.8
申请日:2024-06-03
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2458 , G06F16/22 , H04L67/1023 , H04L67/1029 , H04L67/1061 , H04L67/1095 , G06F16/27
Abstract: 本发明提供一种MPP分布式系统中的发起节点输出方法,涉及数据库技术领域,该方法包括:采集数据库集群中的节点数量及节点IP,根据分片信息进行排序获得节点分片及节点IP的第一映射关系;采集服务器信息,创建计算节点与管理节点的IP距离矩阵,获得距离矩阵;为每个计算节点分配多个哈希桶并记录计算节点与哈希桶的对应关系,并根据nodedatamap表信息及对应关系获取节点分片与计算节点的第二映射关系;提取查询语句的过滤条件中的哈希键,并根据哈希键查询获得计算节点的节点IP;由距离矩阵,根据节点IP查询结果查询计算节点和管理节点极小值,将对应节点作为发起节点输出,本发明能够选择最优发起节点,节省网络开销。
-
公开(公告)号:CN106354585B
公开(公告)日:2019-04-30
申请号:CN201610777563.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供一种数据库集群多数据分片备份的部署方法及装置,所述方法包括:获取数据库集群中的节点数量;获取数据库集群中每个节点对应的数据分片数量;按照预设的规则配置备份分片;算所述配置备份分片的可靠性,选取最优可靠性作为部署方法。通过预定的规则配置多种备份分片的部署方式,并选取其中可靠性最高的配置方式作为部署方式,可进行最优可靠性部署,并大程度保障集群的可靠性。
-
-
-
-
-
-