-
公开(公告)号:CN104376102A
公开(公告)日:2015-02-25
申请号:CN201410686546.7
申请日:2014-11-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 本发明提供一种基于python的hbase jdbc连接方法,属于IT通信业技术领域,本发明本发明采用python语言实现,通过对HBase的jdbc接口进行封装在客户端远程控制HBase数据库,实现DDL、DML和查询HBase元数据等数据库操作,将方法的代码封装成python模块可以供其它语言连接HBase的需求,方便了跨平台的HBase数据库远程调用和开发。
-
-
公开(公告)号:CN104391989A
公开(公告)日:2015-03-04
申请号:CN201410774178.1
申请日:2014-12-16
Applicant: 浪潮电子信息产业股份有限公司
CPC classification number: G06F17/30194 , G06F1/16
Abstract: 本发明公开了一种分布式ETL一体机系统,由分布式ETL一体机硬件系统、集群智勇管理引擎、ETL业务逻辑、ETL任务开发、数据引擎和数据存储、CS模式数据传输以及相关系统管理模块构成。该一种分布式ETL一体机系统与现有技术相比,可以并行高速抽取大数据量的离线数据和流数据,经过分布式ETL一体机的数据处理,输出至大数据系统,完成ETL处理过程,实用性强,适用范围广泛,具有很高的技术价值。
-
公开(公告)号:CN104507107B
公开(公告)日:2018-06-19
申请号:CN201410791579.8
申请日:2014-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04W24/02
Abstract: 本发明公开了一种信令数据的预处理方法,包括以下步骤:监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比,信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作,避免信令文件在预处理过程中的二次读取,有效节省了整个信令数据处理的时间,实用性强。
-
公开(公告)号:CN104507107A
公开(公告)日:2015-04-08
申请号:CN201410791579.8
申请日:2014-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04W24/02
CPC classification number: H04W24/02
Abstract: 本发明公开了一种信令数据的预处理方法,包括以下步骤:监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比,信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作,避免信令文件在预处理过程中的二次读取,有效节省了整个信令数据处理的时间,实用性强。
-
公开(公告)号:CN104484616A
公开(公告)日:2015-04-01
申请号:CN201410721436.X
申请日:2014-12-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F21/62
CPC classification number: G06F21/6245
Abstract: 本发明提供一种MapReduce数据处理框架下的隐私保护方法,属于大数据领域,本发明执行过程分为以下三步:(1)首先用户根据应用环境的特殊性来定义Mapper函数的最大输出范围MaxRange;(2)根据MaxRange和Mapper计算的结果,判断结果是否在MaxRange范围之内:(3)如果在范围之内,则根据差分隐私保护的公式给Mapper的输出结果增加Laplacian噪声,如果不在范围之内,则从MaxRange中随机选取一个数字作为该Mapper的输出结果。这种方法的好处在于减少了执行差分隐私保护的Mapper的个数,降低了算法运行的时间。同时也避免了因为过高或者过低的Mapper输出值导致的噪声过大问题,在满足差分隐私保护规则的同时也提高了查询的精度。
-
公开(公告)号:CN104461563A
公开(公告)日:2015-03-25
申请号:CN201410813195.1
申请日:2014-12-24
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/44
Abstract: 本发明公开了一种在linux下远程定时检测FTP服务器新增文件的方法,在linux操作系统下定时的远程监控FTP服务器指定目录下的新增文件,技术框架分为定时监控和数据文件下载两个模块。该一种在linux下远程定时检测FTP服务器新增文件的方法与现有技术相比,采用开源的FTPClient提供的API调用FTP服务器中的数据,采用的技术简单容易操作,可以有效监控FTP服务器指定目录下的新增文件,实用性强,易于推广。
-
公开(公告)号:CN104408167A
公开(公告)日:2015-03-11
申请号:CN201410744714.3
申请日:2014-12-09
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30563 , G06F17/30194
Abstract: 本发明提供一种基于django扩展Hue中sqoop功能的方法,涉及大数据领域,本发明实现方式是通过在Hadoop集群中sqoop节点上运行一个用django编写的restfulserver用以接受用户的restful请求,并根据请求的url和提交的表单数据拼接并执行相应的sqoop命令。实施本方法之后可以以图形化的方式调用sqoop的所有功能。极大了提高了生产力。
-
公开(公告)号:CN104376047A
公开(公告)日:2015-02-25
申请号:CN201410584560.6
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30339 , G06F17/30498
Abstract: 本发明提供一种基于HBase的大表join方法,本发明针对HBase的大表join问题,借鉴了分布式大数据表操作常采用的分桶技术,提出一种基于hashcode预分区的方法,该方法充分利用了HBase的数据存储特定,高效的解决HBase多表关联问题。
-
-
-
-
-
-
-
-