一种统一的云数据中心监控系统

    公开(公告)号:CN106210124A

    公开(公告)日:2016-12-07

    申请号:CN201610626863.9

    申请日:2016-08-03

    CPC classification number: H04L67/1097 H04L67/28 H04L67/2838

    Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。

    一种异构环境下通过自动编码转换的方式访问FTP的方法

    公开(公告)号:CN104917826A

    公开(公告)日:2015-09-16

    申请号:CN201510272594.6

    申请日:2015-05-26

    CPC classification number: H04L67/06

    Abstract: 本发明公开了一种异构环境下通过自动编码转换的方式访问FTP的方法,所述方法利用FUSE提供的接口实现一个自定义的用户态的文件系统Ftp_FS,利用Ftp_FS把FTP空间挂载到本地文件系统上,用户对挂载点目录的访问会自动重定向到FTP空间。在异构环境下,利用Ftp_FS文件系统的编码子模块,通过指定特定的编码格式把FTP空间挂载到本地文件系统上,利用FTP客户端进行访问。本发明通过挂载FTP到本地文件系统可以让终端用户像操作本地文件一样去操作FTP服务器上的文件,提升了用户体验。通过智能转码,解决了异构环境由于编码不同而导致的乱码问题。

    一种基于雪花模型的多个HBase表关联方法

    公开(公告)号:CN104376103B

    公开(公告)日:2017-10-03

    申请号:CN201410689780.5

    申请日:2014-11-26

    Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法,属于大数据技术领域,HBase表包括查询入口表、主事实表、补充事实表和维表;以主事实表作为雪花模型的中心表和关联的起点,在主事实表的主键中包含查询入口表条件作为组成部分;查询入口表按输入条件和对象对应关系设计组合主键;针对主事实表的补充事实表,设计与主事实表相同的组合主键;针对各个维表主键,基于主事实表、补充事实表外键设计;多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item;在查询入口表中根据input|object查询相关信息;在补充事实表中根据input|object|item查询主事实表条目的补充信息;根据主事实表条目中的fk,在维表中根据pk查询维表中相关信息。本发明提高了执行效率。

    一种基于雪花模型的多个HBase表关联方法

    公开(公告)号:CN104376103A

    公开(公告)日:2015-02-25

    申请号:CN201410689780.5

    申请日:2014-11-26

    Abstract: 本发明公开了一种基于雪花模型的多个HBase表关联方法,属于大数据技术领域,HBase表包括查询入口表、主事实表、补充事实表和维表;以主事实表作为雪花模型的中心表和关联的起点,在主事实表的主键中包含查询入口表条件作为组成部分;查询入口表按输入条件和对象对应关系设计组合主键;针对主事实表的补充事实表,设计与主事实表相同的组合主键;针对各个维表主键,基于主事实表、补充事实表外键设计;多表关联的执行过程为在主事实表中根据input扫描到所有符合条件对象及条目object|item;在查询入口表中根据input|object查询相关信息;在补充事实表中根据input|object|item查询主事实表条目的补充信息;根据主事实表条目中的fk,在维表中根据pk查询维表中相关信息。本发明提高了执行效率。

    一种统一的云数据中心监控系统

    公开(公告)号:CN106210124B

    公开(公告)日:2019-03-05

    申请号:CN201610626863.9

    申请日:2016-08-03

    Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。

    一种HDFS多线程并行下载方法

    公开(公告)号:CN104462324A

    公开(公告)日:2015-03-25

    申请号:CN201410721324.4

    申请日:2014-12-03

    Inventor: 房体盈 辛国茂

    CPC classification number: G06F17/302 G06F9/4843 G06F17/30224

    Abstract: 本发明提供一种HDFS多线程并行下载方法,属于大数据领域,存放到HDFS上文件,采用分块方式存放到整个集群中;当从HDFS上下载文件时,首先获取该文件所有block分块下载地址,针对每个block,启动一个线程来下载,这样可同时启动N个线程同时下载N个数据块,直到所有数据块下载完毕;为了保证下载的文件的一致性,将block[i]数据块写入到客户端文件的67108864*(i-1)~67108864*i(i>1)位置。最大限度的发挥集群的性能,提高下载效率。

    一种HDFS中大数据迁移完整性验证的方法

    公开(公告)号:CN103971066A

    公开(公告)日:2014-08-06

    申请号:CN201410212726.1

    申请日:2014-05-20

    CPC classification number: G06F21/64 G06F17/30194

    Abstract: 本发明提供一种HDFS中大数据迁移完整性验证的方法,其具体实现过程如下:获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息;对原始文件信息以及新文件信息分片处理;输出新旧文件信息的对比验证和验证结果。该一种HDFS中大数据迁移完整性验证的方法和现有技术相比,不需要进行程序的编译、打包,只需要简单的脚本即可完成验证;更加突出大数据灵活、便捷的优势,使得用户可以非常快速简便的找到可能存在的不完整的数据;适用范围广泛,该方法适用于多种HDFS环境,实用性强。

Patent Agency Ranking