-
公开(公告)号：CN114116766B
公开(公告)日：2025-05-02
申请号：CN202111421425.6
申请日：2021-11-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 本发明实施例提出计算引擎选择方法、装置及存储介质和电子设备。方法包括：获取待执行的SQL查询语句的SQL特征；获取SQL查询语句所要查询的表的数据特征；获取各计算引擎的状态特征；针对每个计算引擎，分别生成一个特征向量；将每个特征向量分别输入到资源消耗预测模型和耗时预测模型中进行计算，分别得到每个计算引擎执行SQL查询语句的预测资源消耗和预测耗时；根据每个计算引擎执行SQL查询语句的预测资源消耗和预测耗时，计算每个计算引擎执行所述SQL查询语句的预测代价；根据每个计算引擎执行SQL查询语句的预测代价，选择执行SQL查询语句的计算引擎。本发明实施例能够选择出执行SQL查询语句的性能最优的计算引擎。
-
公开(公告)号：CN111078389B
公开(公告)日：2023-09-05
申请号：CN201811213300.2
申请日：2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种垃圾数据清理方法。该方法应用于分布计算框架中的Driver端，包括：根据监测得到的数量计算消息队列的压力值；判断压力值是否大于预设压力阈值；当判断出压力值大于预设压力阈值时，向分布式计算框架中的Worker端发送高压状态通知，以使得Worker端在监测到第一性能指标的指标值达到第一预设阈值时，触发Worker端的虚拟机中的GC程序，在监测到第二性能指标的指标值满足第一清理条件时，向Driver端发送触发指令；当接收到Worker端发送的触发指令时，触发Driver端中的垃圾清理器对Worker端中的垃圾数据进行清理。与现有技术相比，应用本发明实施例提供的方案，当Driver端的任务接收速率超过Worker端的任务处理速率时，可以及时对垃圾数据进行清理，避免Worker端内存泄露。
-
公开(公告)号：CN111679900A
公开(公告)日：2020-09-18
申请号：CN202010545414.8
申请日：2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置，该方法应用于分布式计算系统的调度服务器，调度服务器用于调度至少一个任务调度队列，每个任务调度队列对应的用户不同；该方法包括：接收来自客户端的第一用户的第一请求，第一请求用于请求执行至少一个作业，至少一个作业对应第一任务集合，第一任务集合位于第一用户对应的第一任务调度队列中；为第一任务集合分配资源；若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务，则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源，以执行第一任务。本申请实施例可以实时处理用户的请求。
-
公开(公告)号：CN115269726A
公开(公告)日：2022-11-01
申请号：CN202210887676.1
申请日：2022-07-26
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 徐福生
IPC: G06F16/27 , G06F16/22 , G06F16/21 , G06F16/9537
Abstract: 本发明实施例提供的一种数据处理方法、装置及设备，针对根数据空间的多个第一子数据空间，根据原始数据在多个第一子数据空间的投影的数据复杂度，确定第一子数据空间的处理成本；针对多个不为物化子数据空间的第一子数据空间，根据处理成本以及各物化子数据空间的处理成本，确定出不为物化子数据空间的第一子数据空间的物化收益，确定出物化收益满足预设物化收益条件的第一子数据空间，作为新的物化自数据空间，针对各个物化子数据空间，对原始数据在物化子数据空间的投影进行处理，得到处理的数据。借助处理成本确定出不为物化子数据空间的物化收益，减少不满足预设物化收益条件的数据空间占用系统资源。
-
公开(公告)号：CN112540843A
公开(公告)日：2021-03-23
申请号：CN201910893448.3
申请日：2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质，属于数据处理技术领域。该方法包括：将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划；基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量；根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组；当每个资源池组包括至少两个资源池时，根据资源池配置信息、所确定的CPU核数和资源容量，在目标资源池组中为SQL查询语句的执行任务分配资源。如此，降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
Patent Agency Ranking
公开(公告)号：CN111078389A
公开(公告)日：2020-04-28
申请号：CN201811213300.2
申请日：2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种垃圾数据清理方法。该方法应用于分布计算框架中的Driver端，包括：根据监测得到的数量计算消息队列的压力值；判断压力值是否大于预设压力阈值；当判断出压力值大于预设压力阈值时，向分布式计算框架中的Worker端发送高压状态通知，以使得Worker端在监测到第一性能指标的指标值达到第一预设阈值时，触发Worker端的虚拟机中的GC程序，在监测到第二性能指标的指标值满足第一清理条件时，向Driver端发送触发指令；当接收到Worker端发送的触发指令时，触发Driver端中的垃圾清理器对Worker端中的垃圾数据进行清理。与现有技术相比，应用本发明实施例提供的方案，当Driver端的任务接收速率超过Worker端的任务处理速率时，可以及时对垃圾数据进行清理，避免Worker端内存泄露。
-
公开(公告)号：CN113535754B
公开(公告)日：2024-07-02
申请号：CN202110848877.6
申请日：2021-07-27
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F21/62 , G06F9/4401
Abstract: 本发明实施例提供了一种数据访问方法、装置及系统，应用于预设的驱动程序，该预设的驱动程序与各个数据库系统相通信，该数据访问方法包括：获取目标查询语句；从预先配置的数据安全信息中，确定各个数据库系统对应的目标策略；基于各个数据库系统对应的目标策略，对所述目标查询语句进行重写，得到各个数据库系统对应的、能够数据脱敏的待下发查询语句；针对每个数据库系统，基于该数据库系统对应的待下发查询语句，从该数据库系统中，获取经过数据脱敏的查询结果。通过本方案，可以兼顾多数据库系统具有协同能力以及低成本的数据安全访问。
-
公开(公告)号：CN112540843B
公开(公告)日：2024-05-07
申请号：CN201910893448.3
申请日：2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质，属于数据处理技术领域。该方法包括：将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划；基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量；根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组；当每个资源池组包括至少两个资源池时，根据资源池配置信息、所确定的CPU核数和资源容量，在目标资源池组中为SQL查询语句的执行任务分配资源。如此，降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
公开(公告)号：CN111679900B
公开(公告)日：2023-10-31
申请号：CN202010545414.8
申请日：2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置，该方法应用于分布式计算系统的调度服务器，调度服务器用于调度至少一个任务调度队列，每个任务调度队列对应的用户不同；该方法包括：接收来自客户端的第一用户的第一请求，第一请求用于请求执行至少一个作业，至少一个作业对应第一任务集合，第一任务集合位于第一用户对应的第一任务调度队列中；为第一任务集合分配资源；若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务，则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源，以执行第一任务。本申请实施例可以实时处理用户的请求。
-
公开(公告)号：CN113535754A
公开(公告)日：2021-10-22
申请号：CN202110848877.6
申请日：2021-07-27
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F21/62 , G06F9/4401
Abstract: 本发明实施例提供了一种数据访问方法、装置及系统，应用于预设的驱动程序，该预设的驱动程序与各个数据库系统相通信，该数据访问方法包括：获取目标查询语句；从预先配置的数据安全信息中，确定各个数据库系统对应的目标策略；基于各个数据库系统对应的目标策略，对所述目标查询语句进行重写，得到各个数据库系统对应的、能够数据脱敏的待下发查询语句；针对每个数据库系统，基于该数据库系统对应的待下发查询语句，从该数据库系统中，获取经过数据脱敏的查询结果。通过本方案，可以兼顾多数据库系统具有协同能力以及低成本的数据安全访问。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.03 seconds)
