任务调度方法、调度模块、推理节点和协同作业系统
摘要:
本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统,其中方法应用于调度模块,该方法包括:获取各推理节点的待处理信息,各推理节点协同作业,待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型;基于各推理节点的待处理信息,以及各推理节点在协同作业中的重要性,从各推理节点中选取目标节点,所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量;向目标节点发送任务处理指令,以触发目标节点进行任务处理,满足了对整体吞吐量和任务响应时间的要求,解决了单一神经网络的调度推理方案无法对多个神经网络协同工作的任务进行调度推理的问题,实现了复杂场景下的调度推理。
0/0