-
公开(公告)号:CN104517445A
公开(公告)日:2015-04-15
申请号:CN201410744639.0
申请日:2014-12-09
Applicant: 浪潮电子信息产业股份有限公司
IPC: G08G1/017
CPC classification number: G08G1/017
Abstract: 本发明提供一种基于大数据的套牌车辆识别方法,属于大数据领域,本发明该方法由3部分组成:(1)卡口间最小时间阈值的计算和最小时间阈值矩阵的建立。(2)同号牌车辆某时间范围内的轨迹的获取。(3)套牌嫌疑车辆的分析和识别。结合现有的GIS系统及卡口设备的位置信息,获取各个卡口设备之间的最短路径和最大行驶速度。继而得到卡口间的最小时间阈值。通过将同号牌车辆轨迹中相邻时间的两个卡口过车时间与相应的卡口间最小时间阈值对比,以及车辆的车身颜色、型号等信息与在车辆管理部门所对应注册的信息的对比,从而判定出套牌嫌疑车辆。
-
公开(公告)号:CN104391989A
公开(公告)日:2015-03-04
申请号:CN201410774178.1
申请日:2014-12-16
Applicant: 浪潮电子信息产业股份有限公司
CPC classification number: G06F17/30194 , G06F1/16
Abstract: 本发明公开了一种分布式ETL一体机系统,由分布式ETL一体机硬件系统、集群智勇管理引擎、ETL业务逻辑、ETL任务开发、数据引擎和数据存储、CS模式数据传输以及相关系统管理模块构成。该一种分布式ETL一体机系统与现有技术相比,可以并行高速抽取大数据量的离线数据和流数据,经过分布式ETL一体机的数据处理,输出至大数据系统,完成ETL处理过程,实用性强,适用范围广泛,具有很高的技术价值。
-
公开(公告)号:CN104917826A
公开(公告)日:2015-09-16
申请号:CN201510272594.6
申请日:2015-05-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/06
Abstract: 本发明公开了一种异构环境下通过自动编码转换的方式访问FTP的方法,所述方法利用FUSE提供的接口实现一个自定义的用户态的文件系统Ftp_FS,利用Ftp_FS把FTP空间挂载到本地文件系统上,用户对挂载点目录的访问会自动重定向到FTP空间。在异构环境下,利用Ftp_FS文件系统的编码子模块,通过指定特定的编码格式把FTP空间挂载到本地文件系统上,利用FTP客户端进行访问。本发明通过挂载FTP到本地文件系统可以让终端用户像操作本地文件一样去操作FTP服务器上的文件,提升了用户体验。通过智能转码,解决了异构环境由于编码不同而导致的乱码问题。
-
公开(公告)号:CN104407946A
公开(公告)日:2015-03-11
申请号:CN201410845600.8
申请日:2014-12-31
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开一种便捷的备份邮件到HDFS上的方法,属于大数据管理领域,具体步骤为①在本地系统的userspace中设置定时器,定时器定期检查用户邮箱,通过访问邮件的本地挂载点,把请求路径交给VFS模块,VFS再交给fuse模块,实现邮件的读取,并返回读取内容给VFS模块;②VFS模块将内容返回给读取线程,再返回给定时器,定时器读取hdfs在本地挂载点目录,Hdfs读取线程访问VFS,VFS访问fuse,读取hdfs内容;③VFS把读取内容返回给hdfs,Hdfs把内容返回给定时器,定时器完成邮件内容和hdfs内容的对比,确定邮件同步,Hdfs读取线程存储邮件到hdfs;本发明简化了以往备份邮件的复杂操作,提升了工作效率。
-
公开(公告)号:CN104407921A
公开(公告)日:2015-03-11
申请号:CN201410819147.3
申请日:2014-12-25
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/46
Abstract: 本发明公开了一种基于时间的yarn任务资源动态调度方法,包括以下步骤:设计yarn队列,根据任务特点,设计多个队列,每个队列对应一类任务,队列的数量动态增加,同时同一层级所有队列的资源分配比例之和是100%;编写定时刷新队列的脚本,根据时间变化和业务需求,定时调用yarn控制台命令,刷新yarn任务队列的配置参数;提交任务到指定队列,提交任务到yarn框架上时,指定任务提交到哪个队列上,从而保证各个任务在指定队列上运行。该一种基于时间的yarn任务资源动态调度方法与现有技术相比,满足在不同时间负载变化大的任务的资源需要,达到充分利用系统资源、保证关键任务的效果,实用性强。
-
公开(公告)号:CN104348913A
公开(公告)日:2015-02-11
申请号:CN201410585403.7
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L29/08 , H04L67/10 , H04L67/1095
Abstract: 本发明提供一种紧耦合可扩展的大数据交互方法,通过构建分布式紧耦合的客户端驱动层,在保证一致性的基础上,能够避免客户端或服务端的单点失效,并减少了客户端之间的通信开销,使系统在以元数据查询类为主的场景下具有接近线性的可扩展性,满足大数据的在线高并发交互分析需求。上述方法可以保证数据的读写一致性,虽然单纯读操作会出现延迟现象,但可以保证读取版本的顺序一致。在需要读取最新版本情况下,可以主动执行一次数据同步过程。此外,该方法具备很好的容错性,只要失效节点数小于半数,其他节点读写数据不受影响,当节点回复后,只需一次读写操作通过步骤即可同步。
-
公开(公告)号:CN104507107B
公开(公告)日:2018-06-19
申请号:CN201410791579.8
申请日:2014-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04W24/02
Abstract: 本发明公开了一种信令数据的预处理方法,包括以下步骤:监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比,信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作,避免信令文件在预处理过程中的二次读取,有效节省了整个信令数据处理的时间,实用性强。
-
公开(公告)号:CN104376103B
公开(公告)日:2017-10-03
申请号:CN201410689780.5
申请日:2014-11-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法,属于大数据技术领域,HBase表包括查询入口表、主事实表、补充事实表和维表;以主事实表作为雪花模型的中心表和关联的起点,在主事实表的主键中包含查询入口表条件作为组成部分;查询入口表按输入条件和对象对应关系设计组合主键;针对主事实表的补充事实表,设计与主事实表相同的组合主键;针对各个维表主键,基于主事实表、补充事实表外键设计;多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item;在查询入口表中根据input|object查询相关信息;在补充事实表中根据input|object|item查询主事实表条目的补充信息;根据主事实表条目中的fk,在维表中根据pk查询维表中相关信息。本发明提高了执行效率。
-
公开(公告)号:CN104507107A
公开(公告)日:2015-04-08
申请号:CN201410791579.8
申请日:2014-12-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04W24/02
CPC classification number: H04W24/02
Abstract: 本发明公开了一种信令数据的预处理方法,包括以下步骤:监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比,信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作,避免信令文件在预处理过程中的二次读取,有效节省了整个信令数据处理的时间,实用性强。
-
公开(公告)号:CN104484616A
公开(公告)日:2015-04-01
申请号:CN201410721436.X
申请日:2014-12-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F21/62
CPC classification number: G06F21/6245
Abstract: 本发明提供一种MapReduce数据处理框架下的隐私保护方法,属于大数据领域,本发明执行过程分为以下三步:(1)首先用户根据应用环境的特殊性来定义Mapper函数的最大输出范围MaxRange;(2)根据MaxRange和Mapper计算的结果,判断结果是否在MaxRange范围之内:(3)如果在范围之内,则根据差分隐私保护的公式给Mapper的输出结果增加Laplacian噪声,如果不在范围之内,则从MaxRange中随机选取一个数字作为该Mapper的输出结果。这种方法的好处在于减少了执行差分隐私保护的Mapper的个数,降低了算法运行的时间。同时也避免了因为过高或者过低的Mapper输出值导致的噪声过大问题,在满足差分隐私保护规则的同时也提高了查询的精度。
-
-
-
-
-
-
-
-
-