公开(公告)号：CN116069512B

公开(公告)日：2023-08-04

申请号：CN202310286991.3

申请日：2023-03-23

Applicant: 之江实验室

Inventor： 李勇 ,  赵来平 ,  张环禹 ,  陈光 ,  曾令仿 ,  程稳

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。

公开(公告)号：CN116069512A

公开(公告)日：2023-05-05

申请号：CN202310286991.3

申请日：2023-03-23

Applicant: 之江实验室

Inventor： 李勇 ,  赵来平 ,  张环禹 ,  陈光 ,  曾令仿 ,  程稳

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。