-
公开(公告)号:CN104361091A
公开(公告)日:2015-02-18
申请号:CN201410658038.8
申请日:2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统,所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统,基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理,极大降低了大数据系统的使用门槛,并且使组织内部大数据相关资源能方便共享,数据处理流程可复用可继承。
-
公开(公告)号:CN104462236A
公开(公告)日:2015-03-25
申请号:CN201410648015.9
申请日:2014-11-14
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30979
Abstract: 提出一种基于大数据的伴随车辆识别方法和装置,基于用户输入的目标车辆的车牌号、查询开始时间和结束时间、以及跟车间隔,确定在所述开始时间和结束时间之间所述目标车辆所经过的每一卡口信息和对应的时间点,进而分析并识别所述目标车辆在所述开始时间至结束时间之间经过上述每一卡口时的伴随车辆。所述方法和装置分析占用时间短、识别结果准确,极大地提高了工作效率。
-
公开(公告)号:CN105490871A
公开(公告)日:2016-04-13
申请号:CN201510808018.9
申请日:2015-11-19
Applicant: 浪潮(北京)电子信息产业有限公司
Inventor: 范荣盛
IPC: H04L12/26
CPC classification number: H04L43/08
Abstract: 本发明实施例公开了一种测试Hadoop集群稳定性的方法及系统,包括:Namenode服务器运行基准测试,Datanode服务器运行NMON工具;其中,基准测试包括DFSIO基准测试和Terasort基准测试;Namenode服务器通过NMON工具,实时获取Datanode服务器运行基准测试的第一资源消耗数据;Namenode服务器根据第一资源消耗数据判断Hadoop集群的稳定性,可见,在本实施例中,通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试,能分别测出Hadoop集群HDFS和MapReduce的稳定性,从而测试整个Hadoop集群的稳定性。
-
公开(公告)号:CN104516985A
公开(公告)日:2015-04-15
申请号:CN201510020951.X
申请日:2015-01-15
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/221 , G06F16/211 , G06F16/215 , G06F16/2282 , G06F16/27
Abstract: 提出一种基于HBase的海量数据快速导入方法,基于HBase数据库中表的格式,对数据源中的数据进行拆分;基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;启用多线程,将所述数据导入HBase数据库的表中。所述方法不需要对数据源进行预处理,方便操作,提高了效率。
-
公开(公告)号:CN105490871B
公开(公告)日:2019-03-15
申请号:CN201510808018.9
申请日:2015-11-19
Applicant: 浪潮(北京)电子信息产业有限公司
Inventor: 范荣盛
IPC: H04L12/26
Abstract: 本发明实施例公开了一种测试Hadoop集群稳定性的方法及系统,包括:Namenode服务器运行基准测试,Datanode服务器运行NMON工具;其中,基准测试包括DFSIO基准测试和Terasort基准测试;Namenode服务器通过NMON工具,实时获取Datanode服务器运行基准测试的第一资源消耗数据;Namenode服务器根据第一资源消耗数据判断Hadoop集群的稳定性,可见,在本实施例中,通过在Namenode服务器上运行DFSIO基准测试和Terasort基准测试,能分别测出Hadoop集群HDFS和MapReduce的稳定性,从而测试整个Hadoop集群的稳定性。
-
-
-
-