-
公开(公告)号：CN113407331B
公开(公告)日：2024-12-13
申请号：CN202010187951.X
申请日：2020-03-17
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请实施例提供一种任务处理的方法、装置及存储介质，用以降低任务处理的时延。在本申请中，驱动节点根据Yarn调度器的启动指示执行预启动，其中，驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；驱动节点从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中消息队列中的可执行任务是客户端发送的；驱动节点将目标任务的执行结果发送到消息队列中，以使客户端从消息队列中获取目标任务的执行结果。驱动节点是Yarn调度器根据客户端发送的虚拟任务请求预先从Spark集群中选取的，因此在有目标任务时，驱动节点直接执行，节省Yarn调度器选择驱动节点的时间，降低任务处理的时延。
-
公开(公告)号：CN113407331A
公开(公告)日：2021-09-17
申请号：CN202010187951.X
申请日：2020-03-17
Applicant: 腾讯科技(深圳)有限公司
Abstract: 本申请实施例提供一种任务处理的方法、装置及存储介质，用以降低任务处理的时延。在本申请中，驱动节点根据Yarn调度器的启动指示执行预启动，其中，驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；驱动节点从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中消息队列中的可执行任务是客户端发送的；驱动节点将目标任务的执行结果发送到消息队列中，以使客户端从消息队列中获取目标任务的执行结果。驱动节点是Yarn调度器根据客户端发送的虚拟任务请求预先从Spark集群中选取的，因此在有目标任务时，驱动节点直接执行，节省Yarn调度器选择驱动节点的时间，降低任务处理的时延。
-
Search Results
2
records
(took 0.02 seconds)
