-
公开(公告)号:CN104503985A
公开(公告)日:2015-04-08
申请号:CN201410721633.1
申请日:2014-12-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30949
Abstract: 本发明提供一种Hbase数据自动化创建Solr索引文件的方法,属于大数据领域,本发明采用基于Solr+HBase+Hive的方法,可以对HBase中的数据通过配置完成索引的自动化创建工作。通过创建Hive外表与Hbase表的进行关联,从而可以实现通过Hive来访问HBase中的数据。利用Solr提供的DIH(DataImportHandler)组件,通过Hive提供的jdbc接口,来访问Hive外表关联的Hbase中的数据,利用DIH自动化创建索引的功能,从而实现了HBase数据自动化创建索引的功能。
-
公开(公告)号:CN104517445A
公开(公告)日:2015-04-15
申请号:CN201410744639.0
申请日:2014-12-09
Applicant: 浪潮电子信息产业股份有限公司
IPC: G08G1/017
CPC classification number: G08G1/017
Abstract: 本发明提供一种基于大数据的套牌车辆识别方法,属于大数据领域,本发明该方法由3部分组成:(1)卡口间最小时间阈值的计算和最小时间阈值矩阵的建立。(2)同号牌车辆某时间范围内的轨迹的获取。(3)套牌嫌疑车辆的分析和识别。结合现有的GIS系统及卡口设备的位置信息,获取各个卡口设备之间的最短路径和最大行驶速度。继而得到卡口间的最小时间阈值。通过将同号牌车辆轨迹中相邻时间的两个卡口过车时间与相应的卡口间最小时间阈值对比,以及车辆的车身颜色、型号等信息与在车辆管理部门所对应注册的信息的对比,从而判定出套牌嫌疑车辆。
-
公开(公告)号:CN104391989A
公开(公告)日:2015-03-04
申请号:CN201410774178.1
申请日:2014-12-16
Applicant: 浪潮电子信息产业股份有限公司
CPC classification number: G06F17/30194 , G06F1/16
Abstract: 本发明公开了一种分布式ETL一体机系统,由分布式ETL一体机硬件系统、集群智勇管理引擎、ETL业务逻辑、ETL任务开发、数据引擎和数据存储、CS模式数据传输以及相关系统管理模块构成。该一种分布式ETL一体机系统与现有技术相比,可以并行高速抽取大数据量的离线数据和流数据,经过分布式ETL一体机的数据处理,输出至大数据系统,完成ETL处理过程,实用性强,适用范围广泛,具有很高的技术价值。
-
公开(公告)号:CN104468787A
公开(公告)日:2015-03-25
申请号:CN201410744522.2
申请日:2014-12-09
Applicant: 浪潮电子信息产业股份有限公司
CPC classification number: G06F17/30575 , G06F17/30604 , H04W4/029 , H04W24/00
Abstract: 本发明提供一种基于大数据的人车关联识别方法,属于大数据领域,本发明首先对MSC中手机位置信息的处理和准备,从而便于与卡口建立关联。并且通过卡口过车信息,提取目标车的行驶轨迹,并对在各个卡口相应时间的手机信息进行统计分析。通过获取交通卡口的过车数据,无线MSC数据,运营商的手机用户实名登记数据,进行智能分析比对,快速的智能的识别出目标车在一定时间范围内的车内的人员。
-
公开(公告)号:CN104484616A
公开(公告)日:2015-04-01
申请号:CN201410721436.X
申请日:2014-12-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F21/62
CPC classification number: G06F21/6245
Abstract: 本发明提供一种MapReduce数据处理框架下的隐私保护方法,属于大数据领域,本发明执行过程分为以下三步:(1)首先用户根据应用环境的特殊性来定义Mapper函数的最大输出范围MaxRange;(2)根据MaxRange和Mapper计算的结果,判断结果是否在MaxRange范围之内:(3)如果在范围之内,则根据差分隐私保护的公式给Mapper的输出结果增加Laplacian噪声,如果不在范围之内,则从MaxRange中随机选取一个数字作为该Mapper的输出结果。这种方法的好处在于减少了执行差分隐私保护的Mapper的个数,降低了算法运行的时间。同时也避免了因为过高或者过低的Mapper输出值导致的噪声过大问题,在满足差分隐私保护规则的同时也提高了查询的精度。
-
公开(公告)号:CN106649461A
公开(公告)日:2017-05-10
申请号:CN201610849348.7
申请日:2016-09-26
Applicant: 浪潮电子信息产业股份有限公司
CPC classification number: G06F9/4887 , G06F16/2272
Abstract: 本发明特别涉及一种自动化清理维护ElasticSearch日志索引文件的方法。该自动化清理维护ElasticSearch日志索引文件的方法,将索引文件按照时间维度来分开存储,根据业务需要制定日志索引删除策略,并使之成为一个调度任务,利用调度框架调度日志删除任务,当需要删除历史数据索引时,只需根据日志索引删除策略整体删除符合策略的索引即可,能够解决按DeleteByquery方式删除的效率问题。该自动化清理维护ElasticSearch日志索引文件的方法,能够快速高效的删除索引文件,不会对当前的索引和查询造成性能上的影响,解决了Elasticsearch在采用DeleteByquery方式删除大数据量索引时效率低下的问题。
-
-
-
-
-