-
公开(公告)号:CN106210124A
公开(公告)日:2016-12-07
申请号:CN201610626863.9
申请日:2016-08-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/1097 , H04L67/28 , H04L67/2838
Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。
-
公开(公告)号:CN104917826A
公开(公告)日:2015-09-16
申请号:CN201510272594.6
申请日:2015-05-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/06
Abstract: 本发明公开了一种异构环境下通过自动编码转换的方式访问FTP的方法,所述方法利用FUSE提供的接口实现一个自定义的用户态的文件系统Ftp_FS,利用Ftp_FS把FTP空间挂载到本地文件系统上,用户对挂载点目录的访问会自动重定向到FTP空间。在异构环境下,利用Ftp_FS文件系统的编码子模块,通过指定特定的编码格式把FTP空间挂载到本地文件系统上,利用FTP客户端进行访问。本发明通过挂载FTP到本地文件系统可以让终端用户像操作本地文件一样去操作FTP服务器上的文件,提升了用户体验。通过智能转码,解决了异构环境由于编码不同而导致的乱码问题。
-
公开(公告)号:CN104376103B
公开(公告)日:2017-10-03
申请号:CN201410689780.5
申请日:2014-11-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法,属于大数据技术领域,HBase表包括查询入口表、主事实表、补充事实表和维表;以主事实表作为雪花模型的中心表和关联的起点,在主事实表的主键中包含查询入口表条件作为组成部分;查询入口表按输入条件和对象对应关系设计组合主键;针对主事实表的补充事实表,设计与主事实表相同的组合主键;针对各个维表主键,基于主事实表、补充事实表外键设计;多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item;在查询入口表中根据input|object查询相关信息;在补充事实表中根据input|object|item查询主事实表条目的补充信息;根据主事实表条目中的fk,在维表中根据pk查询维表中相关信息。本发明提高了执行效率。
-
公开(公告)号:CN104408047A
公开(公告)日:2015-03-11
申请号:CN201410584207.8
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F3/061 , G06F17/30203
Abstract: 本发明提供一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法,是选取HDFS集群中N个主机,然后选择任一节点作为主节点,其他N-1个节点作为从节点,在主节点上,获取要上传的NFS文件服务器要上传目录下文件,对于每一个文件,采用并行上传方法,即集群中所有机器都参与上传,集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的,从而提高上传速度。
-
公开(公告)号:CN104376103A
公开(公告)日:2015-02-25
申请号:CN201410689780.5
申请日:2014-11-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法,属于大数据技术领域,HBase表包括查询入口表、主事实表、补充事实表和维表;以主事实表作为雪花模型的中心表和关联的起点,在主事实表的主键中包含查询入口表条件作为组成部分;查询入口表按输入条件和对象对应关系设计组合主键;针对主事实表的补充事实表,设计与主事实表相同的组合主键;针对各个维表主键,基于主事实表、补充事实表外键设计;多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item;在查询入口表中根据input|object查询相关信息;在补充事实表中根据input|object|item查询主事实表条目的补充信息;根据主事实表条目中的fk,在维表中根据pk查询维表中相关信息。本发明提高了执行效率。
-
公开(公告)号:CN106210124B
公开(公告)日:2019-03-05
申请号:CN201610626863.9
申请日:2016-08-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。
-
公开(公告)号:CN104462324A
公开(公告)日:2015-03-25
申请号:CN201410721324.4
申请日:2014-12-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/302 , G06F9/4843 , G06F17/30224
Abstract: 本发明提供一种HDFS多线程并行下载方法,属于大数据领域,存放到HDFS上文件,采用分块方式存放到整个集群中;当从HDFS上下载文件时,首先获取该文件所有block分块下载地址,针对每个block,启动一个线程来下载,这样可同时启动N个线程同时下载N个数据块,直到所有数据块下载完毕;为了保证下载的文件的一致性,将block[i]数据块写入到客户端文件的67108864*(i-1)~67108864*i(i>1)位置。最大限度的发挥集群的性能,提高下载效率。
-
公开(公告)号:CN104376047A
公开(公告)日:2015-02-25
申请号:CN201410584560.6
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30339 , G06F17/30498
Abstract: 本发明提供一种基于HBase的大表join方法,本发明针对HBase的大表join问题,借鉴了分布式大数据表操作常采用的分桶技术,提出一种基于hashcode预分区的方法,该方法充分利用了HBase的数据存储特定,高效的解决HBase多表关联问题。
-
公开(公告)号:CN104376102A
公开(公告)日:2015-02-25
申请号:CN201410686546.7
申请日:2014-11-26
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 本发明提供一种基于python的hbase jdbc连接方法,属于IT通信业技术领域,本发明本发明采用python语言实现,通过对HBase的jdbc接口进行封装在客户端远程控制HBase数据库,实现DDL、DML和查询HBase元数据等数据库操作,将方法的代码封装成python模块可以供其它语言连接HBase的需求,方便了跨平台的HBase数据库远程调用和开发。
-
公开(公告)号:CN103971066A
公开(公告)日:2014-08-06
申请号:CN201410212726.1
申请日:2014-05-20
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F21/64
CPC classification number: G06F21/64 , G06F17/30194
Abstract: 本发明提供一种HDFS中大数据迁移完整性验证的方法,其具体实现过程如下:获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息;对原始文件信息以及新文件信息分片处理;输出新旧文件信息的对比验证和验证结果。该一种HDFS中大数据迁移完整性验证的方法和现有技术相比,不需要进行程序的编译、打包,只需要简单的脚本即可完成验证;更加突出大数据灵活、便捷的优势,使得用户可以非常快速简便的找到可能存在的不完整的数据;适用范围广泛,该方法适用于多种HDFS环境,实用性强。
-
-
-
-
-
-
-
-
-