-
公开(公告)号：CN117032935A
公开(公告)日：2023-11-10
申请号：CN202311182106.3
申请日：2023-09-13
Applicant: 星环信息科技(上海)股份有限公司
Abstract: 本发明公开了一种基于K8s的异构加速卡的管理调度系统及方法。资源发现模块用于检测异构加速卡资源信息；资源管理模块用于从接口服务获取异构加速卡资源信息，以对异构加速度卡资源信息进行管理；调度模块用于基于接口服务模块发送的资源请求向资源管理模块获取异构加速卡资源信息，根据异构加速卡资源信息确定目标加速卡，将容器集调度至目标加速卡所在的节点上以及将目标加速卡的资源信息发送至资源发现模块进行缓存；容器运行时模块用于向资源发现模块获取目标加速卡的资源信息，根据目标加速卡的资源信息在容器集中创建容器。可以降低对异构加速卡的管理及调度的复杂度。
-
公开(公告)号：CN117032935B
公开(公告)日：2024-05-31
申请号：CN202311182106.3
申请日：2023-09-13
Applicant: 星环信息科技(上海)股份有限公司
Abstract: 本发明公开了一种基于K8s的异构加速卡的管理调度系统及方法。资源发现模块用于检测异构加速卡资源信息；资源管理模块用于从接口服务获取异构加速卡资源信息，以对异构加速度卡资源信息进行管理；调度模块用于基于接口服务模块发送的资源请求向资源管理模块获取异构加速卡资源信息，根据异构加速卡资源信息确定目标加速卡，将容器集调度至目标加速卡所在的节点上以及将目标加速卡的资源信息发送至资源发现模块进行缓存；容器运行时模块用于向资源发现模块获取目标加速卡的资源信息，根据目标加速卡的资源信息在容器集中创建容器。可以降低对异构加速卡的管理及调度的复杂度。
-
公开(公告)号：CN119336471A
公开(公告)日：2025-01-21
申请号：CN202411485019.X
申请日：2024-10-23
Applicant: 星环信息科技(上海)股份有限公司
Abstract: 本发明公开了一种模型推理的请求管理方法、装置以及请求管理系统。该方法包括：获取模型推理服务的观测指标；根据观测指标进行指标预测，得到预测指标，预测指标包括中央处理器的目标内存利用率和图形处理器的目标显存利用率；根据预测指标确定调度策略，根据调度策略结合请求队列确定调度建议，并将调度建议加入至建议缓冲队列中；在模型推理服务执行请求调度时，从建议缓冲队列中读取调度建议，并根据调度建议结合模型推理服务的调度决策确定目标调度决策，根据目标调度决策控制模型推理服务调度相应的请求执行模型推理，解决了模型推理过程中请求调度不合理的问题，实现资源的高效利用和合理分配。
-
-
Search Results
3
records
(took 0.023 seconds)
