-
公开(公告)号：CN112817706A
公开(公告)日：2021-05-18
申请号：CN201911121382.2
申请日：2019-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括：资源管理模块获取多源大数据计算环境的集群信息，创建大数据计算环境的资源管理器队列对应的资源池；模型管理模块获取待执行任务的代码包；任务管理模块基于代码包生成预设任务类型的待执行任务，向资源管理模块申请目标资源池中的目标资源，在资源申请成功后，将待执行任务调度到任务执行引擎；任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案，实现了多源大数据计算环境的资源统一管理，以及实现了多种类型任务的管理和调度，降低了大数据计算环境中业务运维成本，降低了业务代码包管理和上线的复杂度。
-
公开(公告)号：CN116069839A
公开(公告)日：2023-05-05
申请号：CN202111300282.3
申请日：2021-11-04
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 吴宏亮
Abstract: 本发明实施例提供了一种机器学习中数据的交换系统、方法及装置，上述系统方法包括：根据所述目标数据集所在的数据交换窗口的数据交换量和所述拓扑关系信息，确定目标存储策略；将所述目标存储策略发送至所述上游处理服务器，以使所述上游处理服务器将所述目标数据集存储至统一多级存储服务器对应的存储区域；向下游处理服务器发送所述目标数据集的存储分布信息，以使所述下游处理服务器获取所述目标数据集，执行所述下游机器学习步骤写入所述目标数据集的操作。采用该方法提升了分布式机器学习流水线数据交换的效率和稳定性。
-
公开(公告)号：CN112817706B
公开(公告)日：2023-06-02
申请号：CN201911121382.2
申请日：2019-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括：资源管理模块获取多源大数据计算环境的集群信息，创建大数据计算环境的资源管理器队列对应的资源池；模型管理模块获取待执行任务的代码包；任务管理模块基于代码包生成预设任务类型的待执行任务，向资源管理模块申请目标资源池中的目标资源，在资源申请成功后，将待执行任务调度到任务执行引擎；任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案，实现了多源大数据计算环境的资源统一管理，以及实现了多种类型任务的管理和调度，降低了大数据计算环境中业务运维成本，降低了业务代码包管理和上线的复杂度。
-
-
Search Results
3
records
(took 0.052 seconds)
