-
公开(公告)号:CN114238473B
公开(公告)日:2025-04-01
申请号:CN202111528523.X
申请日:2021-12-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/25 , G06F16/245
Abstract: 本申请实施例提供了一种元数据管理方法、装置及电子设备,涉及大数据技术领域,基于通用的Hive元数据接口服务,接收数据请求设备发送的针对第一数据源中待处理数据的元数据的第一数据请求;按照第一数据源的协议标准,对第一数据请求进行格式转换,得到第二数据请求;向第一数据源发送第二数据请求,以使第一数据源根据第二数据请求返回待处理数据的第一元数据;按照数据请求设备所支持的协议标准,基于Hive元数据接口服务,向数据请求设备发送包含第一元数据的数据响应。基于此,能够降低元数据管理的成本。
-
公开(公告)号:CN111679900A
公开(公告)日:2020-09-18
申请号:CN202010545414.8
申请日:2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置,该方法应用于分布式计算系统的调度服务器,调度服务器用于调度至少一个任务调度队列,每个任务调度队列对应的用户不同;该方法包括:接收来自客户端的第一用户的第一请求,第一请求用于请求执行至少一个作业,至少一个作业对应第一任务集合,第一任务集合位于第一用户对应的第一任务调度队列中;为第一任务集合分配资源;若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务,则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源,以执行第一任务。本申请实施例可以实时处理用户的请求。
-
公开(公告)号:CN114238473A
公开(公告)日:2022-03-25
申请号:CN202111528523.X
申请日:2021-12-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/25 , G06F16/245
Abstract: 本申请实施例提供了一种元数据管理方法、装置及电子设备,涉及大数据技术领域,基于通用的Hive元数据接口服务,接收数据请求设备发送的针对第一数据源中待处理数据的元数据的第一数据请求;按照第一数据源的协议标准,对第一数据请求进行格式转换,得到第二数据请求;向第一数据源发送第二数据请求,以使第一数据源根据第二数据请求返回待处理数据的第一元数据;按照数据请求设备所支持的协议标准,基于Hive元数据接口服务,向数据请求设备发送包含第一元数据的数据响应。基于此,能够降低元数据管理的成本。
-
公开(公告)号:CN113672651A
公开(公告)日:2021-11-19
申请号:CN202110977614.5
申请日:2021-08-24
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 段雄
IPC: G06F16/2455 , G06F16/2453
Abstract: 本发明实施例提供了一种任务执行方法、装置及电子设备,涉及任务调度技术领域。该方法包括:接收待执行的目标SQL任务;对所述目标SQL任务进行任务解析,得到所述目标SQL任务包括的各个目标子任务;其中,每个目标子任务关联有用于存储执行该目标子任务所需数据的目标数据源;将每个目标子任务下发至该目标子任务所关联的目标数据源,以使所述目标数据源执行所接收到的目标子任务,得到目标子结果;获取基于各个目标子结果所确定的所述目标SQL任务的目标执行结果。与现有技术相比,应用本发明实施例提供的方案,可以实现减低执行引擎的工作压力,提高SQL任务的执行效率。
-
公开(公告)号:CN112140992A
公开(公告)日:2020-12-29
申请号:CN201910568639.2
申请日:2019-06-27
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 段雄
IPC: B60Q9/00
Abstract: 本申请公开了一种车辆预警提示方法、装置、设备及存储介质,属于智能交通技术领域。所述方法包括:通过多个数据采集装置,获取车辆周围的环境信息;获取该车辆当前的车轴转向角度和车辆行驶速度;根据该车轴转向角度和该车辆行驶速度,确定车轴转向沿线,该车轴转向沿线用于指示该车辆在当前行驶状态下的预行驶路线;根据该环境信息和该车轴转向沿线,通过第一提示方式进行车辆预警提示。车辆不需要依赖其他车辆发送的讯息,而是根据环境信息和自身的预行驶路线即可检测是否需要进行车辆预警提示,提高了实用性。
-
公开(公告)号:CN112540843A
公开(公告)日:2021-03-23
申请号:CN201910893448.3
申请日:2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质,属于数据处理技术领域。该方法包括:将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划;基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量;根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组;当每个资源池组包括至少两个资源池时,根据资源池配置信息、所确定的CPU核数和资源容量,在目标资源池组中为SQL查询语句的执行任务分配资源。如此,降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
公开(公告)号:CN113535754B
公开(公告)日:2024-07-02
申请号:CN202110848877.6
申请日:2021-07-27
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F21/62 , G06F9/4401
Abstract: 本发明实施例提供了一种数据访问方法、装置及系统,应用于预设的驱动程序,该预设的驱动程序与各个数据库系统相通信,该数据访问方法包括:获取目标查询语句;从预先配置的数据安全信息中,确定各个数据库系统对应的目标策略;基于各个数据库系统对应的目标策略,对所述目标查询语句进行重写,得到各个数据库系统对应的、能够数据脱敏的待下发查询语句;针对每个数据库系统,基于该数据库系统对应的待下发查询语句,从该数据库系统中,获取经过数据脱敏的查询结果。通过本方案,可以兼顾多数据库系统具有协同能力以及低成本的数据安全访问。
-
公开(公告)号:CN112540843B
公开(公告)日:2024-05-07
申请号:CN201910893448.3
申请日:2019-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F9/50 , G06F16/242 , G06F16/2455
Abstract: 本申请公开了一种资源的分配方法、装置、存储设备及存储介质,属于数据处理技术领域。该方法包括:将结构化查询语言SQL查询语句转化为包括与待查询数据相关的数据表信息的物理计划;基于物理计划确定执行SQL查询语句所需的中央处理器CPU核数以及待查询数据需要占用的资源容量;根据数据源与资源池组的对应关系确定数据表信息所属的数据源对应的目标资源池组;当每个资源池组包括至少两个资源池时,根据资源池配置信息、所确定的CPU核数和资源容量,在目标资源池组中为SQL查询语句的执行任务分配资源。如此,降低了SQL查询语句因分配不到资源而延时执行或超时无法执行的情况出现的概率。
-
公开(公告)号:CN111679900B
公开(公告)日:2023-10-31
申请号:CN202010545414.8
申请日:2020-06-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供一种任务处理方法和装置,该方法应用于分布式计算系统的调度服务器,调度服务器用于调度至少一个任务调度队列,每个任务调度队列对应的用户不同;该方法包括:接收来自客户端的第一用户的第一请求,第一请求用于请求执行至少一个作业,至少一个作业对应第一任务集合,第一任务集合位于第一用户对应的第一任务调度队列中;为第一任务集合分配资源;若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务,则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源,以执行第一任务。本申请实施例可以实时处理用户的请求。
-
公开(公告)号:CN113535754A
公开(公告)日:2021-10-22
申请号:CN202110848877.6
申请日:2021-07-27
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F21/62 , G06F9/4401
Abstract: 本发明实施例提供了一种数据访问方法、装置及系统,应用于预设的驱动程序,该预设的驱动程序与各个数据库系统相通信,该数据访问方法包括:获取目标查询语句;从预先配置的数据安全信息中,确定各个数据库系统对应的目标策略;基于各个数据库系统对应的目标策略,对所述目标查询语句进行重写,得到各个数据库系统对应的、能够数据脱敏的待下发查询语句;针对每个数据库系统,基于该数据库系统对应的待下发查询语句,从该数据库系统中,获取经过数据脱敏的查询结果。通过本方案,可以兼顾多数据库系统具有协同能力以及低成本的数据安全访问。
-
-
-
-
-
-
-
-
-