-
公开(公告)号：CN108255689B
公开(公告)日：2021-02-12
申请号：CN201810026098.6
申请日：2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F11/34
Abstract: 本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法，包括对Spark应用的任务提交接口进行封装，判断是否已有该Spark应用的分层灰盒时间预测模型，访问数据库，读取并更新所述分层灰盒时间预测模型，用户选择是否进行优化；如果进行优化则生成优化参数，如果不进行优化则按原参数执行，调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息，选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案，从而筛选出在建立的分层灰盒时间预测模型下，性能表现较优的配置参数，达到实现自动化Spark参数调优的目的。
Search Results
11
records
(took 0.022 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
