-
公开(公告)号：CN111736776A
公开(公告)日：2020-10-02
申请号：CN202010591275.2
申请日：2020-06-24
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明实施例涉及大数据技术领域，提供了一种数据存储、读取方法及装置。该数据存储方法包括：获取待存储数据；确定预设存储格式对应的各个存储单位，与待存储数据中的各个子数据的对应关系；通过调用预设的数据接口，按照对应关系，将待存储数据存储到Spark计算引擎的堆外内存中。该数据读取方法包括：在接收到待处理业务时，确定待处理业务所需数据的过滤条件；通过调用预设的数据接口，从Spark计算引擎的堆外内存中，读取满足过滤条件的目标数据；将目标数据存储到Spark计算引擎的堆内内存中，以使待处理业务被处理时，从堆内内存中读取目标数据。与现有技术相比，应用本发明实施例提供的方案，可以提高JVM的业务处理效率。
-
Patent Agency Ranking
公开(公告)号：CN112306962B
公开(公告)日：2024-02-23
申请号：CN201910684789.X
申请日：2019-07-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/16 , G06F16/182 , H04L67/1095
Abstract: 本申请公开了一种计算机集群系统中的文件拷贝方法及装置，属于计算机技术领域。在本申请中，第一节点可以接收第二节点发送的备份文件和拷贝任务文件，之后，第一节点根据该拷贝任务文件，从主节点中获取多个目标节点的节点信息，并根据多个目标节点的节点信息，从多个目标节点中选择未完成拷贝的第三节点，将备份文件拷贝至第三节点。其中，拷贝任务文件用于指示第一节点将备份文件拷贝至其他节点。也即，在本申请中，已完成拷贝的节点可以在将备份文件拷贝至其他节点的同时，使其他节点也同时具备了拷贝文件的功能，这样，所有已完成拷
-
公开(公告)号：CN111736776B
公开(公告)日：2023-10-10
申请号：CN202010591275.2
申请日：2020-06-24
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明实施例涉及大数据技术领域，提供了一种数据存储、读取方法及装置。该数据存储方法包括：获取待存储数据；确定预设存储格式对应的各个存储单位，与待存储数据中的各个子数据的对应关系；通过调用预设的数据接口，按照对应关系，将待存储数据存储到Spark计算引擎的堆外内存中。该数据读取方法包括：在接收到待处理业务时，确定待处理业务所需数据的过滤条件；通过调用预设的数据接口，从Spark计算引擎的堆外内存中，读取满足过滤条件的目标数据；将目标数据存储到Spark计算引擎的堆内内存中，以使待处理业务被处理时，从堆内内存中读取目标数据。与现有技术相比，应用本发明实施例提供的方案，可以提高JVM的业务处理效率。
-
公开(公告)号：CN112306962A
公开(公告)日：2021-02-02
申请号：CN201910684789.X
申请日：2019-07-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/16 , G06F16/182 , H04L29/08
Abstract: 本申请公开了一种计算机集群系统中的文件拷贝方法及装置，属于计算机技术领域。在本申请中，第一节点可以接收第二节点发送的备份文件和拷贝任务文件，之后，第一节点根据该拷贝任务文件，从主节点中获取多个目标节点的节点信息，并根据多个目标节点的节点信息，从多个目标节点中选择未完成拷贝的第三节点，将备份文件拷贝至第三节点。其中，拷贝任务文件用于指示第一节点将备份文件拷贝至其他节点。也即，在本申请中，已完成拷贝的节点可以在将备份文件拷贝至其他节点的同时，使其他节点也同时具备了拷贝文件的功能，这样，所有已完成拷贝节点可以并行的向未完成拷贝的节点进行文件拷贝，提升了计算机集群系统中拷贝文件的效率，节约了拷贝时间。
-
公开(公告)号：CN112685438B
公开(公告)日：2023-03-24
申请号：CN202011594743.8
申请日：2020-12-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 本申请实施例公开了一种数据处理系统、方法、装置及存储介质，属于大数据技术领域。在本申请实施例提供的数据处理系统中，驱动端可以响应于数据处理请求向目标执行端下发RDD算子，基于该RDD算子所指示的数据处理流程，目标执行端会向自身所管理的多个块中各个块下发数据过滤算子，以将数据处理请求中的运算逻辑下推至各个块中。如此，在数据计算过程中，目标执行端仅仅需要基于各个块过滤后的数据进行数据计算即可，无需基于各个块中全部数据来进行数据计算，从而降低了数据计算的复杂度，进而提高了数据计算的效率。
-
公开(公告)号：CN112685438A
公开(公告)日：2021-04-20
申请号：CN202011594743.8
申请日：2020-12-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 本申请实施例公开了一种数据处理系统、方法、装置及存储介质，属于大数据技术领域。在本申请实施例提供的数据处理系统中，驱动端可以响应于数据处理请求向目标执行端下发RDD算子，基于该RDD算子所指示的数据处理流程，目标执行端会向自身所管理的多个块中各个块下发数据过滤算子，以将数据处理请求中的运算逻辑下推至各个块中。如此，在数据计算过程中，目标执行端仅仅需要基于各个块过滤后的数据进行数据计算即可，无需基于各个块中全部数据来进行数据计算，从而降低了数据计算的复杂度，进而提高了数据计算的效率。
-
-
-
-
-
Search Results
6
records
(took 0.028 seconds)
