-
公开(公告)号:CN103425756B
公开(公告)日:2016-06-29
申请号:CN201310330292.0
申请日:2013-07-31
Applicant: 西安交通大学
IPC: G06F17/30
Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。
-
公开(公告)号:CN104239520A
公开(公告)日:2014-12-24
申请号:CN201410475802.8
申请日:2014-09-17
Applicant: 西安交通大学
IPC: G06F17/30
CPC classification number: G06F17/30194
Abstract: 一种基于历史信息的HDFS数据块放置策略,先判定集群中各机架的性能差异,再根据数据块的总数和各个机架的性能差异,在各个机架之间进行有区别的数据块分配,对一个机架中的各个节点的性能差异进行判定,将分配到该机架的数据块有区别的放置在该机架中的节点上,最后进行数据节点选择策略,本发明通过对历史日志信息的分析和统计,判定各个节点的处理能力的差异,并根据节点的处理能力来放置数据块,从而提高作业运行时map任务数据本地性,从而提高Map阶段的完成效率。
-
公开(公告)号:CN103106253A
公开(公告)日:2013-05-15
申请号:CN201310015988.4
申请日:2013-01-16
Applicant: 西安交通大学
Abstract: 一种MapReduce计算模型中基于遗传算法的数据平衡方法,先获取全局Map输出信息,利用遗传算法进行组合优化:先将元数据收集,进行编码,然后对种群进行多次随机划分,每次划分形成一个基因组,计算每个基因中所有子集的适应度函数值,并计算出每个目标函数的概率,对每一个基因的适应度进行评价的基础上将选择算子应用于基因组,利用轮盘赌算法随机的选择出基因组中的若干个优质基因,对选出来的基因进行交叉运算,再进行变异操作,经过多轮进化之后依据精英保留策略选择保留的基因,并对基因进行解码,就可获得对元数据的一个优化的组合,保证每个reducer所处理的数据量是近似相等的,本发明解决了reduce阶段输入数据不均衡的问题,节约计算资源,减少计算成本。
-
公开(公告)号:CN102937918B
公开(公告)日:2016-03-30
申请号:CN201210393176.9
申请日:2012-10-16
Applicant: 西安交通大学
Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。
-
公开(公告)号:CN102788903A
公开(公告)日:2012-11-21
申请号:CN201210248170.2
申请日:2012-07-17
Applicant: 广东电网公司电力科学研究院 , 西安交通大学
Abstract: 一种高压输电线路三相不对称工频参数实测方法,包括以下步骤:1)将配合端三相短路后接地,在测量端任意两相线路之间施加单相测试电源,另一相悬空,测量各相电压及电流;2)将配合端三相短路后接地,在测量端任意两相线路并联后与第三相线路之间施加单相测试电源,测量各相电压及电流;3)将配合端三相短路后接地,在测量端任一相与地之间施加单相测试电源,其余两相均悬空,测量各相电压及电流;4)建立准阻抗方程,求取线路阻抗矩阵;5)对线路阻抗矩阵进行数学变换获得正序、负序、零序阻抗及各序之间的耦合阻抗。本测量方法简单实用,能够消除强干扰感应电压和三相不对称对线路参数测量的影响,提高线路参数测量的精度。
-
公开(公告)号:CN101651810B
公开(公告)日:2011-01-05
申请号:CN200910023988.2
申请日:2009-09-22
Applicant: 西安交通大学
Abstract: 本发明公开了一种处理交错式行交叉立体复合视频信号的装置及方法,首先在3D复合视频解码器中完成交错式交叉立体复合视频信号解码,然后进行格式转换为16bit的YUV4:2:2,利用SDRAM帧存储器控制存储、读出,经过两个二选一多路选择器后使得左路视频输出始终为奇场,右路视频输出始终为偶场,最后经过图像缩放和OSD叠加后输出到OLED微屏显示。本发明在仅使用一片32bit的帧存储器SDRAM的前提下,同时实现的对立体复合视频信号帧频的提升和完成3D复合视频信号解码功能,提高了SDRAM的使用率、带宽和装置的集成度。
-
公开(公告)号:CN101651810A
公开(公告)日:2010-02-17
申请号:CN200910023988.2
申请日:2009-09-22
Applicant: 西安交通大学
Abstract: 本发明公开了一种处理交错式行交叉立体复合视频信号的装置及方法,首先在3D复合视频解码器中完成交错式交叉立体复合视频信号解码,然后进行格式转换为16bit的YUV4:2:2,利用SDRAM帧存储器控制存储、读出,经过两个二选一多路选择器后使得左路视频输出始终为奇场,右路视频输出始终为偶场,最后经过图像缩放和OSD叠加后输出到OLED微屏显示。本发明在仅使用一片32bit的帧存储器SDRAM的前提下,同时实现的对立体复合视频信号帧频的提升和完成3D复合视频信号解码功能,提高了SDRAM的使用率、带宽和装置的集成度。
-
公开(公告)号:CN103425756A
公开(公告)日:2013-12-04
申请号:CN201310330292.0
申请日:2013-07-31
Applicant: 西安交通大学
IPC: G06F17/30
Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。
-
公开(公告)号:CN102937918A
公开(公告)日:2013-02-20
申请号:CN201210393176.9
申请日:2012-10-16
Applicant: 西安交通大学
Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。
-
公开(公告)号:CN101651809B
公开(公告)日:2011-06-01
申请号:CN200910023987.8
申请日:2009-09-22
Applicant: 西安交通大学
Abstract: 本发明公开了一种双目立体显示视频处理的存储器存储及读写控制方法,该方法仅用一片4bank的帧存储器SDRAM,利用其中的两个bank存储8场复合视频信号,而利用另外两个bank存储4场解码后的YUV4:2:2信号,通过合理的设计控制部分,使其读出的数据满足解码和双路立体输出的需求,大大提高了SDRAM的使用率和带宽。
-
-
-
-
-
-
-
-
-