公开(公告)号：CN119782090A

公开(公告)日：2025-04-08

申请号：CN202411973779.5

申请日：2024-12-30

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 巢泽敏 ,  陈潇 ,  杜长斌 ,  孙长秋 ,  毕研恒 ,  李菲 ,  王宏志 ,  高肇明 ,  郑乔译 ,  李欣宇 ,  齐志鑫 ,  谭世喆 ,  王宇 ,  朱艳秋 ,  柴云峰 ,  葛广志 ,  岑建何

IPC: G06F11/30 ,  G06F9/50 ,  G06N3/048 ,  G06N3/084 ,  G06N3/092 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/044

Abstract: 一种HADOOP集群的能耗监测及优化方法，它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值进行填补，再利用填补后的数据对功耗预测模型进行训练，且训练过程中考虑了硬件资源使用情况数据，提高了训练好的功耗预测模型的泛化能力。本发明定性研究了包含集群服务器CPU频率在内的硬件参数和HADOOP集群配置参数列表对于集群能耗的映射关系，并利用基于强化学习的参数选择算法对配置参数列表进行选择并以此为基础应用调优，可以识别出最优配置参数组合，实现对能耗的优化。本发明方法可以应用于HADOOP集群的能耗监测及优化。