-
公开(公告)号：CN104008153B
公开(公告)日：2017-09-26
申请号：CN201410217394.6
申请日：2014-05-21
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明公开了一种面向大数据的数据处理方法和装置，该方法包括：获取处理环境数据及负载场景数据；选择处理环境数据及负载场景数据对应的压缩方式；根据所选择的压缩方式对数据进行处理；处理环境数据包括网络传输的性能指标和磁盘的性能指标；负载场景数据包括读操作比例和写操作比例，读操作比例与写操作比例相加为1。本发明能够指导在不同运行环境、不同负载场景下的压缩方式的选择，优化大数据处理性能。
-
公开(公告)号：CN104361091A
公开(公告)日：2015-02-18
申请号：CN201410658038.8
申请日：2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统，所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统，基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理，极大降低了大数据系统的使用门槛，并且使组织内部大数据相关资源能方便共享，数据处理流程可复用可继承。
-
公开(公告)号：CN104102701A
公开(公告)日：2014-10-15
申请号：CN201410321111.2
申请日：2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30309 , G06F17/30548
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法，首先建立hive表，然后使用ETL工具导出源数据并验证，通过验证后将源数据导入hive表，以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口，并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号：CN104050291B
公开(公告)日：2017-11-10
申请号：CN201410306448.6
申请日：2014-06-30
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种账户余额数据的并行处理方法，该方法包括：一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据，生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数；其中，所述第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括：余额值、交易日期和当天交易序号；一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录，根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录；其中，第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。
-
公开(公告)号：CN104050291A
公开(公告)日：2014-09-17
申请号：CN201410306448.6
申请日：2014-06-30
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30445 , G06F17/30318
Abstract: 本发明公开了一种账户余额数据的并行处理方法，该方法包括：一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据，生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数；其中，所述第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括：余额值、交易日期和当天交易序号；一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录，根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录；其中，第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。
-
Patent Agency Ranking
公开(公告)号：CN103970874A
公开(公告)日：2014-08-06
申请号：CN201410203430.3
申请日：2014-05-14
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30666 , G06F17/30194
Abstract: 本发明公开了一种实现Hadoop文件处理的方法及装置，包括：读取需要处理的分布式文件系统(Hadoop)的文本文件；逐行提取文本文件并转换为映射(Map)规约(Reduce)接受的数据类型的内容；逐行读取转换后的文本文件内容，以确定是否进行断行处理。本发明通过将读取的文本文件直接转换为MapReduce接受的数据类型的内容，逐行的对处理为断行的内容进行确定，节省了预处理过程中删除CR造成的耗时，且不需要额外占用磁盘空间。
-
公开(公告)号：CN105354482B
公开(公告)日：2018-05-01
申请号：CN201510907200.X
申请日：2015-12-09
Applicant: 浪潮(北京)电子信息产业有限公司
Inventor： 房体盈
Abstract: 本发明公开了一种单点登录方法及装置，其中，该方法包括：获取登录请求，所述登录请求中携带有与用户对应的用户登录信息；对所述用户登录信息进行认证，如果认证通过，则生成与该用户登录信息对应的用户登录标记，以供所述用户利用该用户登录标记对应用系统进行访问。与现有技术相比，本申请中获取登录请求并且登录请求中携带的用户登录信息的认证通过之后，生成与用户登录信息对应的用户登录标记，在用户需要访问应用系统时，只需利用用户登录标记即可完成对于应用系统的访问，而无需再次利用用户登录信息进行登录，由此，大大简化了用户在对不同应用系统进行访问时的繁琐度，提升了用户体验。
-
公开(公告)号：CN104036039B
公开(公告)日：2017-09-29
申请号：CN201410307198.8
申请日：2014-06-30
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据的并行处理方法，包括：一个或多个Map节点读取账户日志数据的分片数据，从分片数据中选出状态持续时间满足查询日期要求的候选数据记录，生成所选出的候选数据记录的第一输出参数和第二输出参数；第一输出参数至少包括账户ID，第二输出参数至少包括：状态开始日、状态结束日和状态值；一个或多个Reduce节点读取Map节点处理完的不同候选数据记录，根据候选数据记录的第一输出参数和第二输出参数分别生成各账户在查询日期范围内的完整历史状态记录；第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取。本发明能提高大规模日志数据的处理效率。本发明还公开了一种数据的并行处理系统。
-
公开(公告)号：CN105740065A
公开(公告)日：2016-07-06
申请号：CN201610037549.7
申请日：2016-01-20
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F9/48
CPC classification number: G06F9/4843
Abstract: 本发明公开了一种控制异步任务执行的方法，包括：根据页面请求发送多个所述异步任务对应的任务请求；暂存所述任务请求并按照预定顺序对所述任务请求排序；按照预定算法将两个以上所述任务请求分配至任务池对应的线程中以执行对应的异步任务；其中，所述任务池中的线程至少有两个。该方法能够实现多个异步任务的并行执行，减小任务的执行时间，提高了执行效率。此外，本发明还公开一种控制异步任务执行的装置。
-
公开(公告)号：CN104036006A
公开(公告)日：2014-09-10
申请号：CN201410279863.7
申请日：2014-06-20
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F8/24
Abstract: 本发明公开了一种实现Windows下连接控制Hbase的方法及装置，包括：封装所有Thrift的应用程序编程接口(API)的访问接口的功能函数及获取Hadoop数据库(Hbase)元数据的函数；还包括：当用户访问Hbase时，建立HBase服务器(Server)与Hbase的连接；HBase Server将执行请求和执行的封装的功能函数及获取Hbase元数据的函数发往Hbase。本发明通过将连接和控制HBase的功能函数进行有效封装，使Windows下连接和控制HBase得到稳定，采用C#封装的功能函数可以进行移植，适用范围广。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.034 seconds)
