-
公开(公告)号:CN103970881A
公开(公告)日:2014-08-06
申请号:CN201410208886.9
申请日:2014-05-16
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: H04L67/06
Abstract: 本发明公开了一种实现文件上传的方法及装置,包括:获取分布式文件系统(HDFS)预定数量的数据节点;检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。本发明获取预定数量的HDFS的数据节点,通过检测HDFS中的数据节点的连通性后,将文件服务器上传的每个文件相应的HDFS文件上传命令均分给连通的数据节点,实现文件上传,提高文件上传的效率,降低文件上传的时长消耗。
-
公开(公告)号:CN103840969A
公开(公告)日:2014-06-04
申请号:CN201410025309.6
申请日:2014-01-20
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明提供一种云计算系统中告警日志的管理方法和系统。所述方法,包括:获取告警日志的查询条件;为每个告警日志的查询条件设置对应的查询标识;在获取到告警日志时,按照预先设置的时间段,对告警日志进行划分,将同一时间段的时间段的日志划分成一组进行存储;对每组的告警日志,获取每个告警日志中查询标识对应的数值,将所述查询标识的数值作为该告警日志的索引;在接收到用户的查询请求后,根据查询请求中用户选择的告警查询时间,选择对应的一组或多组告警日志;根据查询请求中用户选择的查询条件,对选择的一组或多组告警日志的索引进行查找,得到所述查询请求对应的告警日志;输出查找到的告警日志。
-
公开(公告)号:CN103390054A
公开(公告)日:2013-11-13
申请号:CN201310319899.9
申请日:2013-07-26
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明提供一种云数据中心中管理流程节点的方法和系统,涉及数据处理领域。所述方法,包括:判断该流程节点中是否有该用户;如果所述流程节点中不包括该用户,则根据所述操作请求中所述步骤号对应的信息,获取该用户对该流程节点中对应步骤号的更新数据,其中该更新数据包括目标流程步骤号以及该目标流程步骤号对应的数据;判断该流程节点是否存在所述目标流程步骤号;如果该流程节点中已经存在所述目标流程步骤号,则根据预先存储的比较策略,判断该目标流程步骤号对应的数据与该流程节点中对应的步骤号的数据是否存在冲突;如果不存在冲突,则将目标流程步骤号对应的数据更新到数据库。
-
公开(公告)号:CN104331518B
公开(公告)日:2017-12-29
申请号:CN201410709125.1
申请日:2014-11-27
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明实施例提供的一种海量文件的存储方法和装置,可以解决在.NET平台架构下利用HDFS存储数据时系统运行效率低以及部署成本高的问题。具体方案为:在.NET平台架构下通过IKVM.NET调用HDFS存储待存储文件中的数据;当所述待存储文件中的数据存储成功后,使用根据关系数据库创建的文件索引表存储所述待存储文件的索引信息。
-
公开(公告)号:CN104102701B
公开(公告)日:2017-10-13
申请号:CN201410321111.2
申请日:2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法,首先建立hive表,然后使用ETL工具导出源数据并验证,通过验证后将源数据导入hive表,以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口,并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号:CN105302494A
公开(公告)日:2016-02-03
申请号:CN201510802655.5
申请日:2015-11-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种压缩策略选择方法及装置,包括:接收数据压缩信息;其中,所述数据压缩信息中携带待压缩数据的数据量信息;根据所述待压缩数据的数据量信息,确定所述待压缩数据的处理场景信息;根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息,确定所述待压缩数据的压缩策略,可见,在本实施例中根据用户待压缩数据的数据量信息及用户的实际处理场景,能帮用户选择适合的压缩策略,从而使每个用户都根据自己的实际情况,选择最合适的、性价比最高的压缩策略。
-
公开(公告)号:CN104331518A
公开(公告)日:2015-02-04
申请号:CN201410709125.1
申请日:2014-11-27
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30094 , G06F17/30194
Abstract: 本发明实施例提供的一种海量文件的存储方法和装置,可以解决在.NET平台架构下利用HDFS存储数据时系统运行效率低以及部署成本高的问题。具体方案为:在.NET平台架构下通过IKVM.NET调用HDFS存储待存储文件中的数据;当所述待存储文件中的数据存储成功后,使用根据关系数据库创建的文件索引表存储所述待存储文件的索引信息。
-
公开(公告)号:CN104102710A
公开(公告)日:2014-10-15
申请号:CN201410336964.3
申请日:2014-07-15
Applicant: 浪潮(北京)电子信息产业有限公司
CPC classification number: G06F17/30575 , G06F17/30545 , G06F17/30554
Abstract: 本发明公开了一种海量数据查询方法,其特征在于,包括:建立HBase非行键值rowkey查询字段与rowkey的索引映射;查询时,根据所述索引映射关系,在SolrCloud中查询到查询字段对应的rowkey;使用所述rowkey在HBase中进行查找,并将查询结果分页显示。
-
公开(公告)号:CN104102702A
公开(公告)日:2014-10-15
申请号:CN201410321901.0
申请日:2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30289
Abstract: 本发明公开了一种实现软硬件结合的面向应用的大数据系统及方法,包括:硬件层、基础平台层、平台增强层;其中,硬件层,用于根据应用场景以及系统需求对硬件进行定制,并对基础平台层提供硬件支撑;基础平台层,用于根据大数据平台搭配能力以及应用场景的策略,选择一个或者几个大数据平台;平台增强层,用于根据基础平台层选择的大数据平台提供相应的大数据平台工具;其中,应用场景为用户应用需求或用户应用场景。本申请的技术方案屏蔽了平台多样性对用户带来的选择和搭配的难度,并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性,极大地提高了行业大数据应用的开发质量和效率。
-
公开(公告)号:CN104036039B
公开(公告)日:2017-09-29
申请号:CN201410307198.8
申请日:2014-06-30
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据的并行处理方法,包括:一个或多个Map节点读取账户日志数据的分片数据,从分片数据中选出状态持续时间满足查询日期要求的候选数据记录,生成所选出的候选数据记录的第一输出参数和第二输出参数;第一输出参数至少包括账户ID,第二输出参数至少包括:状态开始日、状态结束日和状态值;一个或多个Reduce节点读取Map节点处理完的不同候选数据记录,根据候选数据记录的第一输出参数和第二输出参数分别生成各账户在查询日期范围内的完整历史状态记录;第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取。本发明能提高大规模日志数据的处理效率。本发明还公开了一种数据的并行处理系统。
-
-
-
-
-
-
-
-
-