知搜-全球专利检索

  1. 登录
  2. 注册
发明公开
CN103218233A Hadoop异构集群中的数据分配策略 有权

  • 专利标题： Hadoop异构集群中的数据分配策略
  • 专利标题（英）： Data allocation strategy in hadoop heterogeneous cluster
  • 申请号： CN201310168386.2
    申请日： 2013-05-09
  • 公开(公告)号： CN103218233A
    公开(公告)日： 2013-07-24
  • 发明人: 郭文忠 , 陈国龙 , 林常航
  • 申请人： 福州大学
  • 申请人地址： 福建省福州市闽侯县上街镇大学城学园路2号福州大学新区
  • 专利权人： 福州大学
  • 当前专利权人： 福州大学
  • 当前专利权人地址： 福建省福州市闽侯县上街镇大学城学园路2号福州大学新区
  • 代理机构： 福州元创专利商标代理有限公司
  • 代理商 蔡学俊
  • 主分类号： G06F9/44
  • IPC分类号： G06F9/44 ;  G06F9/50
Hadoop异构集群中的数据分配策略
摘要：
本发明涉及一种Hadoop异构集群中的数据分配策略，其特征在于，包括以下步骤：S01：测试并存储各节点处理不同规模数据的执行时间，并转换为静态性能参考指标；S02：监控并存储各节点的存储负载和各节点间的网络传输速度，并转换为动态性能参考指标；S03：根据预先设置的各性能因素的权重，利用计算模块计算出各节点应分配的数据块数目，并通过数据分配服务器进行数据块-节点的映射和实施分配传输。本发明通过对静、动态性能参考指标各性能因素的灵活配置，可以增强数据分配策略的适应性，保证数据分配策略的有效性，能够有效的提高数据局部性、减少作业响应时间和网络传输，增强系统的负载稳定性，优化了集群资源。
摘要（英）：

The invention relates to a data allocation strategy in a hadoop heterogeneous cluster. The data allocation strategy is characterized by comprising the following steps of: step S01, testing and storing execution time for each node to treat data with different scales, and transforming the execution time into a static performance reference index; step S02, monitoring and storing storage load of each node and network transmission speed between the nodes, and transforming the storage load and the network transmission speed into dynamic performance reference indexes; and step S03, calculating the quantity of data blocks to be allocated to each node by utilizing a calculating module according to preset weight of each performance factor, and performing data block-node mapping and carrying out allocation transmission by using a data allocation server. Through flexible configuration of each performance factor of the static and dynamic performance reference indexes, the data allocation strategy disclosed by the invention enhances the adaptability, ensures the effectiveness, effectively increases the data locality, reduces the operation response time and network transmission, improves the load stability of the system, and optimizes the cluster resources.

公开/授权文献
0/0