任务调度方法、调度模块、推理节点和协同作业系统

    公开(公告)号:CN113608852B

    公开(公告)日:2024-07-16

    申请号:CN202110888396.8

    申请日:2021-08-03

    IPC分类号: G06F9/48 G06N3/045 G06N5/04

    摘要: 本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统,其中方法应用于调度模块,该方法包括:获取各推理节点的待处理信息,各推理节点协同作业,待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型;基于各推理节点的待处理信息,以及各推理节点在协同作业中的重要性,从各推理节点中选取目标节点,所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量;向目标节点发送任务处理指令,以触发目标节点进行任务处理,满足了对整体吞吐量和任务响应时间的要求,解决了单一神经网络的调度推理方案无法对多个神经网络协同工作的任务进行调度推理的问题,实现了复杂场景下的调度推理。

    模型调度处理方法、装置、设备及存储介质

    公开(公告)号:CN113935472A

    公开(公告)日:2022-01-14

    申请号:CN202111299696.9

    申请日:2021-11-04

    IPC分类号: G06N3/04 G06N5/04

    摘要: 本申请提出一种模型调度处理方法、装置、设备及存储介质,该方法包括:根据各个网络模型执行单路串行任务时的运行日志数据,以及执行多路并行任务时的运行日志数据,确定各个网络模型的性能参数;根据各个网络模型的性能参数,以及各个网络模型执行目标任务时的运行日志数据,确定对各个网络模型的调度策略。上述方案通过分析网络模型的性能参数,以及各个网络模型在执行目标任务时的运行日志数据,确定对各个网络模型的调度策略,实现了对模型调度的分析及调整,有利于提高多网络模型协同工作应用的性能。

    任务调度方法、调度模块、推理节点和协同作业系统

    公开(公告)号:CN113608852A

    公开(公告)日:2021-11-05

    申请号:CN202110888396.8

    申请日:2021-08-03

    IPC分类号: G06F9/48 G06N3/04 G06N5/04

    摘要: 本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统,其中方法应用于调度模块,该方法包括:获取各推理节点的待处理信息,各推理节点协同作业,待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型;基于各推理节点的待处理信息,以及各推理节点在协同作业中的重要性,从各推理节点中选取目标节点,所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量;向目标节点发送任务处理指令,以触发目标节点进行任务处理,满足了对整体吞吐量和任务响应时间的要求,解决了单一神经网络的调度推理方案无法对多个神经网络协同工作的任务进行调度推理的问题,实现了复杂场景下的调度推理。

    一种数据处理方法及网络管理装置

    公开(公告)号:CN114579273B

    公开(公告)日:2024-04-02

    申请号:CN202210202789.3

    申请日:2022-03-02

    摘要: 本发明公开了一种数据处理方法及网络管理装置,可以将待输入至目标子网络进行数据处理的一路待处理数据,作为一个待处理任务保存至与目标子网络对应的队列;基于当前的第一队列、第二队列和第三队列各自保存的任务数量,从第一子网络、第二子网络和第三子网络中确定出优先级最高的子网络;在与优先级最高的子网络对应的队列中,将至少一路待处理数据输入至优先级最高的子网络中进行数据处理,并在优先级最高的子网络进行数据处理过程中,禁止其他子网络对相应队列中的待处理数据进行数据处理。本发明可以实现对多路并发的待处理数据的有效处理。

    一种数据处理方法及网络管理装置

    公开(公告)号:CN114579273A

    公开(公告)日:2022-06-03

    申请号:CN202210202789.3

    申请日:2022-03-02

    摘要: 本发明公开了一种数据处理方法及网络管理装置,可以将待输入至目标子网络进行数据处理的一路待处理数据,作为一个待处理任务保存至与目标子网络对应的队列;基于当前的第一队列、第二队列和第三队列各自保存的任务数量,从第一子网络、第二子网络和第三子网络中确定出优先级最高的子网络;在与优先级最高的子网络对应的队列中,将至少一路待处理数据输入至优先级最高的子网络中进行数据处理,并在优先级最高的子网络进行数据处理过程中,禁止其他子网络对相应队列中的待处理数据进行数据处理。本发明可以实现对多路并发的待处理数据的有效处理。