一种Hbase数据自动化创建Solr索引文件的方法

    公开(公告)号:CN104503985A

    公开(公告)日:2015-04-08

    申请号:CN201410721633.1

    申请日:2014-12-03

    CPC classification number: G06F17/30949

    Abstract: 本发明提供一种Hbase数据自动化创建Solr索引文件的方法,属于大数据领域,本发明采用基于Solr+HBase+Hive的方法,可以对HBase中的数据通过配置完成索引的自动化创建工作。通过创建Hive外表与Hbase表的进行关联,从而可以实现通过Hive来访问HBase中的数据。利用Solr提供的DIH(DataImportHandler)组件,通过Hive提供的jdbc接口,来访问Hive外表关联的Hbase中的数据,利用DIH自动化创建索引的功能,从而实现了HBase数据自动化创建索引的功能。

    一种基于大数据的套牌车辆识别方法

    公开(公告)号:CN104517445A

    公开(公告)日:2015-04-15

    申请号:CN201410744639.0

    申请日:2014-12-09

    CPC classification number: G08G1/017

    Abstract: 本发明提供一种基于大数据的套牌车辆识别方法,属于大数据领域,本发明该方法由3部分组成:(1)卡口间最小时间阈值的计算和最小时间阈值矩阵的建立。(2)同号牌车辆某时间范围内的轨迹的获取。(3)套牌嫌疑车辆的分析和识别。结合现有的GIS系统及卡口设备的位置信息,获取各个卡口设备之间的最短路径和最大行驶速度。继而得到卡口间的最小时间阈值。通过将同号牌车辆轨迹中相邻时间的两个卡口过车时间与相应的卡口间最小时间阈值对比,以及车辆的车身颜色、型号等信息与在车辆管理部门所对应注册的信息的对比,从而判定出套牌嫌疑车辆。

    一种MapReduce数据处理框架下的隐私保护方法

    公开(公告)号:CN104484616A

    公开(公告)日:2015-04-01

    申请号:CN201410721436.X

    申请日:2014-12-03

    CPC classification number: G06F21/6245

    Abstract: 本发明提供一种MapReduce数据处理框架下的隐私保护方法,属于大数据领域,本发明执行过程分为以下三步:(1)首先用户根据应用环境的特殊性来定义Mapper函数的最大输出范围MaxRange;(2)根据MaxRange和Mapper计算的结果,判断结果是否在MaxRange范围之内:(3)如果在范围之内,则根据差分隐私保护的公式给Mapper的输出结果增加Laplacian噪声,如果不在范围之内,则从MaxRange中随机选取一个数字作为该Mapper的输出结果。这种方法的好处在于减少了执行差分隐私保护的Mapper的个数,降低了算法运行的时间。同时也避免了因为过高或者过低的Mapper输出值导致的噪声过大问题,在满足差分隐私保护规则的同时也提高了查询的精度。

    一种自动化清理维护ElasticSearch日志索引文件的方法

    公开(公告)号:CN106649461A

    公开(公告)日:2017-05-10

    申请号:CN201610849348.7

    申请日:2016-09-26

    CPC classification number: G06F9/4887 G06F16/2272

    Abstract: 本发明特别涉及一种自动化清理维护ElasticSearch日志索引文件的方法。该自动化清理维护ElasticSearch日志索引文件的方法,将索引文件按照时间维度来分开存储,根据业务需要制定日志索引删除策略,并使之成为一个调度任务,利用调度框架调度日志删除任务,当需要删除历史数据索引时,只需根据日志索引删除策略整体删除符合策略的索引即可,能够解决按DeleteByquery方式删除的效率问题。该自动化清理维护ElasticSearch日志索引文件的方法,能够快速高效的删除索引文件,不会对当前的索引和查询造成性能上的影响,解决了Elasticsearch在采用DeleteByquery方式删除大数据量索引时效率低下的问题。

Patent Agency Ranking