-
公开(公告)号：CN113902116B
公开(公告)日：2025-04-15
申请号：CN202111151184.8
申请日：2021-09-29
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向深度学习模型推理批处理优化方法与系统。本系统包括负载容器批处理分析工具模块和批处理合并工具模块、算法服务调用模块；负载容器批处理分析工具模块，用于将推理服务请求中的推理输入参数保存到预处理数据集中，生成训练数据对各容器中的模型进行性能测试，然后根据测试的结果指标确定最佳参数；批处理合并工具模块根据最佳参数预测并获取下一时间窗口的推理服务请求生成批处理任务并发送到对应容器中执行。本发明对无服务器架构下的深度学习推理服务性能进行优化，有效的利用多核并行计算能力，能够高效的进行高并发下的推理服务请求，使得在资源利用率，任务执行延时、吞吐量方面得到了大幅度优化。
-
公开(公告)号：CN113902116A
公开(公告)日：2022-01-07
申请号：CN202111151184.8
申请日：2021-09-29
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向深度学习模型推理批处理优化方法与系统。本系统包括负载容器批处理分析工具模块和批处理合并工具模块、算法服务调用模块；负载容器批处理分析工具模块，用于将推理服务请求中的推理输入参数保存到预处理数据集中，生成训练数据对各容器中的模型进行性能测试，然后根据测试的结果指标确定最佳参数；批处理合并工具模块根据最佳参数预测并获取下一时间窗口的推理服务请求生成批处理任务并发送到对应容器中执行。本发明对无服务器架构下的深度学习推理服务性能进行优化，有效的利用多核并行计算能力，能够高效的进行高并发下的推理服务请求，使得在资源利用率，任务执行延时、吞吐量方面得到了大幅度优化。
-
公开(公告)号：CN116894759A
公开(公告)日：2023-10-17
申请号：CN202310866366.6
申请日：2023-07-14
Applicant: 中国科学院软件研究所
Abstract: 本发明公开一种面向遥感即时计算的细粒度并行调度方法及系统，属于遥感与计算技术领域。本发明充分挖掘并利用遥感影像数据的特点进行计算优化，提出的择优调度策略能根据遥感算子的执行代价动态智能地选择计算节点的最优执行方式，在节点串行执行和并行执行之间取得一个很好的平衡，适用于绝大多数的计算案例，普适性强，拥有优越的计算性能；本发明实现了在影像级和波段级数据间更细粒度的并行执行，该细粒度的并行对于参与影像数量较大的计算案例能显著提高执行效率。
-
-
Search Results
3
records
(took 0.026 seconds)
