一种面向大数据处理的数据处理方法和装置

    公开(公告)号:CN104008153A

    公开(公告)日:2014-08-27

    申请号:CN201410217394.6

    申请日:2014-05-21

    CPC classification number: G06F17/30312

    Abstract: 本发明公开了一种面向大数据的数据处理方法和装置,该方法包括:获取处理环境数据及负载场景数据;选择处理环境数据及负载场景数据对应的压缩方式;根据所选择的压缩方式对数据进行处理;处理环境数据包括网络传输的性能指标和磁盘的性能指标;负载场景数据包括读操作比例和写操作比例,读操作比例与写操作比例相加为1。本发明能够指导在不同运行环境、不同负载场景下的压缩方式的选择,优化大数据处理性能。

    一种云操作系统中访问控制的方法和系统

    公开(公告)号:CN102611699A

    公开(公告)日:2012-07-25

    申请号:CN201210042997.8

    申请日:2012-02-22

    Abstract: 本发明提供一种云操作系统中访问控制的方法和系统。所述方法,包括:为访问所述云操作系统的每个用户分别分配该用户对应的角色信息;为每个角色信息配置该角色所对应的操作集,其中所述操作集记录有所述云操作系统允许该角色对功能模块的访问权限信息;当接收到某一用户的访问请求时,获取所述用户的角色信息;根据所述用户的角色信息所对应的操作集,对所述用户发起的访问进行控制。

    一种防止HBase中数据误删除的方法及系统

    公开(公告)号:CN105243340B

    公开(公告)日:2018-12-07

    申请号:CN201510796233.1

    申请日:2015-11-18

    Inventor: 房体盈

    Abstract: 本发明公开了一种防止HBase中数据误删除的方法,包括:根据用户操作在HDFS目录下设定存储被删除的数据文件的存储文件;设定监控的时间周期,按照所述时间周期,监控Hbase在HDFS目录下的缓存文件夹是否有新增的数据文件;若是,则将新增的所述数据文件存储到所述存储文件下;该方法能够防止HBase中数据误删除;本发明还公开了一种防止HBase中数据误删除的系统。

    一种文本文件并行上传方法及装置

    公开(公告)号:CN105610899A

    公开(公告)日:2016-05-25

    申请号:CN201510917625.9

    申请日:2015-12-10

    Inventor: 房体盈

    Abstract: 本发明公开了一种文本文件并行上传方法及装置,其中,该方法包括:将待上传文本文件切分成N个数据块,N为大于1的整数;启动N个子线程,并利用N个子线程按照一一对应关系将N个数据块同时上传至分布式文件系统。本申请公开的技术特征中,将待上传文本文件切分为N个数据块,进而利用N个子线程将N个数据块同时进行上传,其中,子线程与工作节点一一对应,因此,本申请为利用N个工作节点将N个数据块同时进行上传,与现有技术中通过一个工作节点将整个待上传文本文件进行上传相比,本申请利用N个工作节点实现数据块的上传,能够在充分利用整个集群的性能的同时达到较快的上传速度。

    一种单点登录方法及装置
    16.
    发明公开

    公开(公告)号:CN105354482A

    公开(公告)日:2016-02-24

    申请号:CN201510907200.X

    申请日:2015-12-09

    Inventor: 房体盈

    CPC classification number: H04L63/0815 G06F21/41

    Abstract: 本发明公开了一种单点登录方法及装置,其中,该方法包括:获取登录请求,所述登录请求中携带有与用户对应的用户登录信息;对所述用户登录信息进行认证,如果认证通过,则生成与该用户登录信息对应的用户登录标记,以供所述用户利用该用户登录标记对应用系统进行访问。与现有技术相比,本申请中获取登录请求并且登录请求中携带的用户登录信息的认证通过之后,生成与用户登录信息对应的用户登录标记,在用户需要访问应用系统时,只需利用用户登录标记即可完成对于应用系统的访问,而无需再次利用用户登录信息进行登录,由此,大大简化了用户在对不同应用系统进行访问时的繁琐度,提升了用户体验。

    一种基于Hbase的海量图片存储方法及装置

    公开(公告)号:CN104199899A

    公开(公告)日:2014-12-10

    申请号:CN201410425822.4

    申请日:2014-08-26

    Inventor: 房体盈 辛国茂

    CPC classification number: G06F17/30253 G06F17/30575

    Abstract: 本发明公开了一种基于Hbase的海量图片存储方法及装置,包括:读取预设大小的结构化文本信息,并创建一个Mapfile文件;其中,结构化文本信息为图片的属性信息与图片的原始索引信息;确定读取的预设大小的结构化文本信息所对应的各个图片,将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中;将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。本发明技术方案实现了将几十K的小图片合并成一个大文件,避免了因将海量几十K小图片直接存放到HDFS上产生大量元数据从而导致占用大量内存,避免了将海量图片存放到HBase的过程中导致的频繁的Hfile文件的Compaction及Region split,极大地提高了写入速度。

    一种实现软硬件结合的面向应用的大数据系统及方法

    公开(公告)号:CN104102702A

    公开(公告)日:2014-10-15

    申请号:CN201410321901.0

    申请日:2014-07-07

    CPC classification number: G06F17/30289

    Abstract: 本发明公开了一种实现软硬件结合的面向应用的大数据系统及方法,包括:硬件层、基础平台层、平台增强层;其中,硬件层,用于根据应用场景以及系统需求对硬件进行定制,并对基础平台层提供硬件支撑;基础平台层,用于根据大数据平台搭配能力以及应用场景的策略,选择一个或者几个大数据平台;平台增强层,用于根据基础平台层选择的大数据平台提供相应的大数据平台工具;其中,应用场景为用户应用需求或用户应用场景。本申请的技术方案屏蔽了平台多样性对用户带来的选择和搭配的难度,并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性,极大地提高了行业大数据应用的开发质量和效率。

    一种实现计算机还原点的系统、装置及方法

    公开(公告)号:CN103164294A

    公开(公告)日:2013-06-19

    申请号:CN201310036075.0

    申请日:2013-01-30

    Abstract: 本发明披露了一种实现计算机还原点的系统、装置及方法,该系统包括:计算机网络虚拟机通过网络连接,在正常工作时将不同时间点的变化数据同步给网络虚拟机;网络虚拟机将从计算机接收的不同时间点的变化数据快照到本地磁盘的不同位置。计算机在发现数据毁损时从网络虚拟机接收相应时间点的恢复数据在本地磁盘上进行数据还原;网络虚拟机根据计算机的请求将相应时间点的恢复数据同步传输给计算机。本发明不会影响到计算机系统的性能,即便系统中物理盘数据有所毁损,仍可利用虚拟机中保存的磁盘数据进行系统的快速还原,恢复到某个时间点。

Patent Agency Ranking