一种HDFS中数据块的副本管理策略

    公开(公告)号:CN103425756B

    公开(公告)日:2016-06-29

    申请号:CN201310330292.0

    申请日:2013-07-31

    Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。

    一种基于历史信息的HDFS数据块放置策略

    公开(公告)号:CN104239520A

    公开(公告)日:2014-12-24

    申请号:CN201410475802.8

    申请日:2014-09-17

    CPC classification number: G06F17/30194

    Abstract: 一种基于历史信息的HDFS数据块放置策略,先判定集群中各机架的性能差异,再根据数据块的总数和各个机架的性能差异,在各个机架之间进行有区别的数据块分配,对一个机架中的各个节点的性能差异进行判定,将分配到该机架的数据块有区别的放置在该机架中的节点上,最后进行数据节点选择策略,本发明通过对历史日志信息的分析和统计,判定各个节点的处理能力的差异,并根据节点的处理能力来放置数据块,从而提高作业运行时map任务数据本地性,从而提高Map阶段的完成效率。

    一种MapReduce计算模型中基于遗传算法的数据平衡方法

    公开(公告)号:CN103106253A

    公开(公告)日:2013-05-15

    申请号:CN201310015988.4

    申请日:2013-01-16

    Abstract: 一种MapReduce计算模型中基于遗传算法的数据平衡方法,先获取全局Map输出信息,利用遗传算法进行组合优化:先将元数据收集,进行编码,然后对种群进行多次随机划分,每次划分形成一个基因组,计算每个基因中所有子集的适应度函数值,并计算出每个目标函数的概率,对每一个基因的适应度进行评价的基础上将选择算子应用于基因组,利用轮盘赌算法随机的选择出基因组中的若干个优质基因,对选出来的基因进行交叉运算,再进行变异操作,经过多轮进化之后依据精英保留策略选择保留的基因,并对基因进行解码,就可获得对元数据的一个优化的组合,保证每个reducer所处理的数据量是近似相等的,本发明解决了reduce阶段输入数据不均衡的问题,节约计算资源,减少计算成本。

    一种HDFS运行时数据块平衡方法

    公开(公告)号:CN102937918B

    公开(公告)日:2016-03-30

    申请号:CN201210393176.9

    申请日:2012-10-16

    Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。

    处理交错式行交叉立体复合视频信号的装置及方法

    公开(公告)号:CN101651810B

    公开(公告)日:2011-01-05

    申请号:CN200910023988.2

    申请日:2009-09-22

    Abstract: 本发明公开了一种处理交错式行交叉立体复合视频信号的装置及方法,首先在3D复合视频解码器中完成交错式交叉立体复合视频信号解码,然后进行格式转换为16bit的YUV4:2:2,利用SDRAM帧存储器控制存储、读出,经过两个二选一多路选择器后使得左路视频输出始终为奇场,右路视频输出始终为偶场,最后经过图像缩放和OSD叠加后输出到OLED微屏显示。本发明在仅使用一片32bit的帧存储器SDRAM的前提下,同时实现的对立体复合视频信号帧频的提升和完成3D复合视频信号解码功能,提高了SDRAM的使用率、带宽和装置的集成度。

    处理交错式行交叉立体复合视频信号的装置及方法

    公开(公告)号:CN101651810A

    公开(公告)日:2010-02-17

    申请号:CN200910023988.2

    申请日:2009-09-22

    Abstract: 本发明公开了一种处理交错式行交叉立体复合视频信号的装置及方法,首先在3D复合视频解码器中完成交错式交叉立体复合视频信号解码,然后进行格式转换为16bit的YUV4:2:2,利用SDRAM帧存储器控制存储、读出,经过两个二选一多路选择器后使得左路视频输出始终为奇场,右路视频输出始终为偶场,最后经过图像缩放和OSD叠加后输出到OLED微屏显示。本发明在仅使用一片32bit的帧存储器SDRAM的前提下,同时实现的对立体复合视频信号帧频的提升和完成3D复合视频信号解码功能,提高了SDRAM的使用率、带宽和装置的集成度。

    一种HDFS中数据块的副本管理策略

    公开(公告)号:CN103425756A

    公开(公告)日:2013-12-04

    申请号:CN201310330292.0

    申请日:2013-07-31

    Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。

    一种HDFS运行时数据块平衡方法

    公开(公告)号:CN102937918A

    公开(公告)日:2013-02-20

    申请号:CN201210393176.9

    申请日:2012-10-16

    Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。

Patent Agency Ranking