-
公开(公告)号:CN112540843B
公开(公告)日:2024-05-07
申请号:CN201910893448.3
申请日:2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质,属于数据处理技术领域。该方法包括:将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划;基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量;根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组;当每个资源池组包括至少两个资源池时,根据资源池配置信息、所确定的CPU核数和资源容量,在目标资源池组中为SQL查询语句的执行任务分配资源。如此,降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
公开(公告)号:CN111679900B
公开(公告)日:2023-10-31
申请号:CN202010545414.8
申请日:2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置,该方法应用于分布式计算系统的调度服务器,调度服务器用于调度至少一个任务调度队列,每个任务调度队列对应的用户不同;该方法包括:接收来自客户端的第一用户的第一请求,第一请求用于请求执行至少一个作业,至少一个作业对应第一任务集合,第一任务集合位于第一用户对应的第一任务调度队列中;为第一任务集合分配资源;若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务,则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源,以执行第一任务。本申请实施例可以实时处理用户的请求。
-
公开(公告)号:CN113760172B
公开(公告)日:2024-09-03
申请号:CN202010502055.8
申请日:2020-06-04
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 朱志新
IPC: G06F3/06
Abstract: 本发明实施例提供了一种分片分配方法、装置及电子设备。其中,所述方法包括:针对所述多个存储节点中的每个存储节点,计算该存储节点的节点权重,所述节点权重与该存储节点的剩余存储空间正相关,与该存储节点已经分配的分片数目负相关;按照所述节点权重,从所述多个存储节点中选取存储节点;针对所选取的存储节点的每个磁盘路径,计算该磁盘路径的路径权重,所述路径权重与该磁盘路径的剩余存储空间正相关,与该磁盘路径已经分配的分片数目负相关;按照所述路径权重,从所选取的存储节点的各个磁盘路径中选取磁盘路径;将待分配的分片分配至所选取的磁盘路径中。可以提高分布式存储集群的稳定性。
-
公开(公告)号:CN112131373B
公开(公告)日:2024-07-26
申请号:CN201910556313.8
申请日:2019-06-25
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 朱志新
IPC: G06F16/335 , G06F16/9535 , G06N3/006
Abstract: 本申请提供一种信息搜索方法、装置、电子设备及可读存储介质,该方法包括:根据接收到的搜索语句确定搜索结果文档集;确定所述搜索结果文档集各分片中目标搜索结果的数量,并基于粒子群优化算法确定各分片中的目标搜索结果;其中,所述各分片中目标搜索结果的数量的总和与待返回的搜索结果的数量一致;按照所述各分片的目标搜索结果的适应度值由高到低的顺序输出所述各分片的目标搜索结果。该方法可以在保证算法准确率的情况下,提高算法输出效率。
-
公开(公告)号:CN113760172A
公开(公告)日:2021-12-07
申请号:CN202010502055.8
申请日:2020-06-04
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 朱志新
IPC: G06F3/06
Abstract: 本发明实施例提供了一种分片分配方法、装置及电子设备。其中,所述方法包括:针对所述多个存储节点中的每个存储节点,计算该存储节点的节点权重,所述节点权重与该存储节点的剩余存储空间正相关,与该存储节点已经分配的分片数目负相关;按照所述节点权重,从所述多个存储节点中选取存储节点;针对所选取的存储节点的每个磁盘路径,计算该磁盘路径的路径权重,所述路径权重与该磁盘路径的剩余存储空间正相关,与该磁盘路径已经分配的分片数目负相关;按照所述路径权重,从所选取的存储节点的各个磁盘路径中选取磁盘路径;将待分配的分片分配至所选取的磁盘路径中。可以提高分布式存储集群的稳定性。
-
公开(公告)号:CN112540843A
公开(公告)日:2021-03-23
申请号:CN201910893448.3
申请日:2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质,属于数据处理技术领域。该方法包括:将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划;基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量;根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组;当每个资源池组包括至少两个资源池时,根据资源池配置信息、所确定的CPU核数和资源容量,在目标资源池组中为SQL查询语句的执行任务分配资源。如此,降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
公开(公告)号:CN112131373A
公开(公告)日:2020-12-25
申请号:CN201910556313.8
申请日:2019-06-25
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 朱志新
IPC: G06F16/335 , G06F16/9535 , G06N3/00
Abstract: 本申请提供一种信息搜索方法、装置、电子设备及可读存储介质,该方法包括:根据接收到的搜索语句确定搜索结果文档集;确定所述搜索结果文档集各分片中目标搜索结果的数量,并基于粒子群优化算法确定各分片中的目标搜索结果;其中,所述各分片中目标搜索结果的数量的总和与待返回的搜索结果的数量一致;按照所述各分片的目标搜索结果的适应度值由高到低的顺序输出所述各分片的目标搜索结果。该方法可以在保证算法准确率的情况下,提高算法输出效率。
-
公开(公告)号:CN111679900A
公开(公告)日:2020-09-18
申请号:CN202010545414.8
申请日:2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置,该方法应用于分布式计算系统的调度服务器,调度服务器用于调度至少一个任务调度队列,每个任务调度队列对应的用户不同;该方法包括:接收来自客户端的第一用户的第一请求,第一请求用于请求执行至少一个作业,至少一个作业对应第一任务集合,第一任务集合位于第一用户对应的第一任务调度队列中;为第一任务集合分配资源;若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务,则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源,以执行第一任务。本申请实施例可以实时处理用户的请求。
-
-
-
-
-
-
-