公开(公告)号：CN104461563A

公开(公告)日：2015-03-25

申请号：CN201410813195.1

申请日：2014-12-24

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 曹连超 ,  辛国茂 ,  亓开元 ,  李占强 ,  刘伟 ,  卢军佐

IPC: G06F9/44

Abstract: 本发明公开了一种在linux下远程定时检测FTP服务器新增文件的方法，在linux操作系统下定时的远程监控FTP服务器指定目录下的新增文件，技术框架分为定时监控和数据文件下载两个模块。该一种在linux下远程定时检测FTP服务器新增文件的方法与现有技术相比，采用开源的FTPClient提供的API调用FTP服务器中的数据，采用的技术简单容易操作，可以有效监控FTP服务器指定目录下的新增文件，实用性强，易于推广。

公开(公告)号：CN104408047A

公开(公告)日：2015-03-11

申请号：CN201410584207.8

申请日：2014-10-28

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 房体盈 ,  辛国茂

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F3/061 ,  G06F17/30203

Abstract: 本发明提供一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法，是选取HDFS集群中N个主机，然后选择任一节点作为主节点，其他N-1个节点作为从节点，在主节点上，获取要上传的NFS文件服务器要上传目录下文件，对于每一个文件，采用并行上传方法，即集群中所有机器都参与上传，集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的，从而提高上传速度。

公开(公告)号：CN104376103A

公开(公告)日：2015-02-25

申请号：CN201410689780.5

申请日：2014-11-26

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 亓开元 ,  辛国茂 ,  赵仁明 ,  房体盈

IPC: G06F17/30

Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法，属于大数据技术领域，HBase表包括查询入口表、主事实表、补充事实表和维表；以主事实表作为雪花模型的中心表和关联的起点，在主事实表的主键中包含查询入口表条件作为组成部分；查询入口表按输入条件和对象对应关系设计组合主键；针对主事实表的补充事实表，设计与主事实表相同的组合主键；针对各个维表主键，基于主事实表、补充事实表外键设计；多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item；在查询入口表中根据input|object查询相关信息；在补充事实表中根据input|object|item查询主事实表条目的补充信息；根据主事实表条目中的fk，在维表中根据pk查询维表中相关信息。本发明提高了执行效率。

公开(公告)号：CN104346447A

公开(公告)日：2015-02-11

申请号：CN201410585204.6

申请日：2014-10-28

Applicant: 浪潮电子信息产业股份有限公司

Inventor： 亓开元 ,  卢军佐 ,  杨勇 ,  辛国茂

IPC: G06F17/30

CPC classification number: G06F17/30584

Abstract: 本发明提供一种面向混合型大数据处理系统的分区连接方法,本发明提出的面向混合型大数据处理系统的分区连接方法，能够满足行业大数据针对不同处理系统的交互分析业务应用需求，并且通过分区、coprocessr和mapjoin,大大提高了此类分析的性能，并可以进一步应用于基于join的分组、统计、排序等交互分析。通过确定Hive查询分区，减少参与传输、缓存和join过程的数据量，并且充分利用分布式架构优势，使所有节点的缓存过程并行执行，通过在各节点缓存数据，能够加快join执行效率，并且HBase表的数据量和节点数量能够按需扩展。