一种基于云平台大规模并行处理数据节点动态扩容方法

    公开(公告)号:CN115658299A

    公开(公告)日:2023-01-31

    申请号:CN202211273101.7

    申请日:2022-10-18

    Abstract: 本发明涉及一种基于云平台大规模并行处理数据节点动态扩容方法,属于大规模并行处理应用领域。本发明检测器根据Slave节点的使用率和阈值判断是否触发协调器完成数据节点的动态扩容,协调器读取传入的扩容参数(boolean isScaleOut,boolean isScaleCPU,boolean isScaleMem,boolean isScaleDisk),当纵向扩容时,协调器调用资源分配接口完成现有Slave节点CPU、内存、磁盘的纵向扩容。当横向扩容时,Java应用调用资源分配接口完成新Slave节点资源初始化、调用安装脚本完成新Slave节点初始安装、配置从而实现MPP数据节点动态横向扩容。本发明创新点在于采用自动化检测及自动化扩容数据节点方法,实现MPP在大数据分析应用中查询响应慢时进行动态纵向扩容及动态横行扩容数据节点的方法,提升MPP并发处理能力及MPP动态可扩展性。

Patent Agency Ranking