-
公开(公告)号：CN111190949B
公开(公告)日：2023-09-26
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN111427949A
公开(公告)日：2020-07-17
申请号：CN201910020151.6
申请日：2019-01-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/2458
Abstract: 本申请是关于一种创建大数据服务的方法及装置，属于数据挖掘领域。所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，构建服务集群，所述服务集群包括所述主节点和N个代理节点，安装有服务镜像以及每个代理节点安装有代理镜像，根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括至少一个大数据服务组件的组件标识，所述组件配置文件包括所述每个大数据服务组件的部署文件存储路径。本申请能够快速创建大数据服务。
-
公开(公告)号：CN111190949A
公开(公告)日：2020-05-22
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN111427949B
公开(公告)日：2023-10-20
申请号：CN201910020151.6
申请日：2019-01-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/2458
Abstract: 本申请是关于一种创建大数据服务的方法及装置，属于数据挖掘领域。所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，构建服务集群，所述服务集群包括所述主节点和N个代理节点，安装有服务镜像以及每个代理节点安装有代理镜像，根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括至少一个大数据服务组件的组件标识，所述组件配置文件包括所述每个大数据服务组件的部署文件存储路径。本申请能够快速创建大数据服务。
-
-
-
Search Results
4
records
(took 0.027 seconds)
