-
公开(公告)号：CN119396840B
公开(公告)日：2025-04-01
申请号：CN202411971958.5
申请日：2024-12-30
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 刘中军
Abstract: 本申请实施例提供了一种数据索引方法、数据读取方法、装置及电子设备。方法包括：分别将目标数据表的每列数据按照行号划分为至少一个分片；针对每个所述分片，分别对所述分片中各数据的查询条件降维处理，得到各数据的第一编码；根据所述分片中各数据的所述第一编码，生成所述分片的第一索引；确定所述分片对应的第一位数；按照所述分片对应的所述第一位数，分别确定所述分片中各数据的所述第二编码，作为各数据各自的第二索引；针对每个数据，对应于所述数据的内部行号保存所述数据的第二索引，并对应于所述数据的第二索引保存所述数据所属分片的所述第一索引。可以实现降低构建得到的数据索引的数据量，从而降低数据索引所需占用的内存资源。
-
公开(公告)号：CN111078513B
公开(公告)日：2024-02-27
申请号：CN201811230933.4
申请日：2018-10-22
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 刘中军
Abstract: 本说明书实施例提供一种日志处理方法、装置、设备、存储介质及日志告警系统，所述方法包括：确定告警日志的第一类属性对应的第一属性标识，判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。在已存储的告警日志属性标识记录中存在第一属性标识时才依据第二属性标识集与告警日志属性标识记录中的第二属性标识集之间的相似度判断告警日志是否为重复告警日志，可以提高重复告警日志判断的准确率。
-
公开(公告)号：CN111427949B
公开(公告)日：2023-10-20
申请号：CN201910020151.6
申请日：2019-01-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/2458
Abstract: 本申请是关于一种创建大数据服务的方法及装置，属于数据挖掘领域。所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，构建服务集群，所述服务集群包括所述主节点和N个代理节点，安装有服务镜像以及每个代理节点安装有代理镜像，根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括至少一个大数据服务组件的组件标识，所述组件配置文件包括所述每个大数据服务组件的部署文件存储路径。本申请能够快速创建大数据服务。
-
公开(公告)号：CN111736776B
公开(公告)日：2023-10-10
申请号：CN202010591275.2
申请日：2020-06-24
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明实施例涉及大数据技术领域，提供了一种数据存储、读取方法及装置。该数据存储方法包括：获取待存储数据；确定预设存储格式对应的各个存储单位，与待存储数据中的各个子数据的对应关系；通过调用预设的数据接口，按照对应关系，将待存储数据存储到Spark计算引擎的堆外内存中。该数据读取方法包括：在接收到待处理业务时，确定待处理业务所需数据的过滤条件；通过调用预设的数据接口，从Spark计算引擎的堆外内存中，读取满足过滤条件的目标数据；将目标数据存储到Spark计算引擎的堆内内存中，以使待处理业务被处理时，从堆内内存中读取目标数据。与现有技术相比，应用本发明实施例提供的方案，可以提高JVM的业务处理效率。
-
公开(公告)号：CN119396840A
公开(公告)日：2025-02-07
申请号：CN202411971958.5
申请日：2024-12-30
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 刘中军
Abstract: 本申请实施例提供了一种数据索引方法、数据读取方法、装置及电子设备。方法包括：分别将目标数据表的每列数据按照行号划分为至少一个分片；针对每个所述分片，分别对所述分片中各数据的查询条件降维处理，得到各数据的第一编码；根据所述分片中各数据的所述第一编码，生成所述分片的第一索引；确定所述分片对应的第一位数；按照所述分片对应的所述第一位数，分别确定所述分片中各数据的所述第二编码，作为各数据各自的第二索引；针对每个数据，对应于所述数据的内部行号保存所述数据的第二索引，并对应于所述数据的第二索引保存所述数据所属分片的所述第一索引。可以实现降低构建得到的数据索引的数据量，从而降低数据索引所需占用的内存资源。
-
Patent Agency Ranking
公开(公告)号：CN112685438B
公开(公告)日：2023-03-24
申请号：CN202011594743.8
申请日：2020-12-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 本申请实施例公开了一种数据处理系统、方法、装置及存储介质，属于大数据技术领域。在本申请实施例提供的数据处理系统中，驱动端可以响应于数据处理请求向目标执行端下发RDD算子，基于该RDD算子所指示的数据处理流程，目标执行端会向自身所管理的多个块中各个块下发数据过滤算子，以将数据处理请求中的运算逻辑下推至各个块中。如此，在数据计算过程中，目标执行端仅仅需要基于各个块过滤后的数据进行数据计算即可，无需基于各个块中全部数据来进行数据计算，从而降低了数据计算的复杂度，进而提高了数据计算的效率。
-
公开(公告)号：CN112685438A
公开(公告)日：2021-04-20
申请号：CN202011594743.8
申请日：2020-12-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 本申请实施例公开了一种数据处理系统、方法、装置及存储介质，属于大数据技术领域。在本申请实施例提供的数据处理系统中，驱动端可以响应于数据处理请求向目标执行端下发RDD算子，基于该RDD算子所指示的数据处理流程，目标执行端会向自身所管理的多个块中各个块下发数据过滤算子，以将数据处理请求中的运算逻辑下推至各个块中。如此，在数据计算过程中，目标执行端仅仅需要基于各个块过滤后的数据进行数据计算即可，无需基于各个块中全部数据来进行数据计算，从而降低了数据计算的复杂度，进而提高了数据计算的效率。
-
公开(公告)号：CN107808223B
公开(公告)日：2021-04-20
申请号：CN201610808702.1
申请日：2016-09-08
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了数据处理方法及装置。该方法包括：获得多个人员对象分别在各个预定关系类型下的业务数据；根据所获得的业务数据，计算每两个人员对象所对应的关系维度向量；将每两个人员对象所对应的关系维度向量转换为上层维度向量；将所述上层维度向量所包括的上层维度的维度值，按照所对应预设的上层维度权重加权，得到每两个人员对象所对应的整体关系强度值。通过本方案，可以解决每个关系维度与其他所有关系维度具有较高耦合性的问题。
-
公开(公告)号：CN111427949A
公开(公告)日：2020-07-17
申请号：CN201910020151.6
申请日：2019-01-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/2458
Abstract: 本申请是关于一种创建大数据服务的方法及装置，属于数据挖掘领域。所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，构建服务集群，所述服务集群包括所述主节点和N个代理节点，安装有服务镜像以及每个代理节点安装有代理镜像，根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括至少一个大数据服务组件的组件标识，所述组件配置文件包括所述每个大数据服务组件的部署文件存储路径。本申请能够快速创建大数据服务。
-
公开(公告)号：CN107808223A
公开(公告)日：2018-03-16
申请号：CN201610808702.1
申请日：2016-09-08
Applicant: 杭州海康威视数字技术股份有限公司
CPC classification number: G06Q10/06311 , G06Q10/10
Abstract: 本发明实施例提供了数据处理方法及装置。该方法包括：获得多个人员对象分别在各个预定关系类型下的业务数据；根据所获得的业务数据，计算每两个人员对象所对应的关系维度向量；将每两个人员对象所对应的关系维度向量转换为上层维度向量；将所述上层维度向量所包括的上层维度的维度值，按照所对应预设的上层维度权重加权，得到每两个人员对象所对应的整体关系强度值。通过本方案，可以解决每个关系维度与其他所有关系维度具有较高耦合性的问题。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.032 seconds)
