公开(公告)号：CN110704542A

公开(公告)日：2020-01-17

申请号：CN201910978247.3

申请日：2019-10-15

Applicant: 南京莱斯网信技术研究院有限公司

Inventor： 孟令伍 ,  贺成龙 ,  吴嘉逸 ,  丁灿 ,  刘蛰 ,  李惠柯 ,  顾学海 ,  姜吉宁 ,  陈铮

IPC: G06F16/27 ,  G06F11/30 ,  G06F9/50 ,  G06K9/62

Abstract: 本发明提供了一种基于节点负载的数据动态分区系统，包括负载监测采集、预测、数据预分区、数据迁移等模块；采用二次平滑法预测节点负载，结合了AHP和熵值指标权重法，能够根据不同的数据分析应用得到相应的分区策略，动态调整系统的负载均衡性，提高应用的响应速度。本发明针对Spark和Memsql分布式集成框架的应用场景，由于分布式环境存在节点资源的异构性，为了减少节点之间数据传输消耗，充分利用每个节点的计算资源，通过负载均衡性来提高应用分析的并行计算效率。为此，本发明提出一种基于节点负载的数据动态分区机制和策略来改善系统负载均衡性及提高应用的响应速度，辅助相关工作人员完成决策。