一种文本文件并行上传方法及装置

    公开(公告)号:CN105610899B

    公开(公告)日:2019-09-24

    申请号:CN201510917625.9

    申请日:2015-12-10

    Inventor: 房体盈

    Abstract: 本发明公开了一种文本文件并行上传方法及装置,其中,该方法包括:将待上传文本文件切分成N个数据块,N为大于1的整数;启动N个子线程,并利用N个子线程按照一一对应关系将N个数据块同时上传至分布式文件系统。本申请公开的技术特征中,将待上传文本文件切分为N个数据块,进而利用N个子线程将N个数据块同时进行上传,其中,子线程与工作节点一一对应,因此,本申请为利用N个工作节点将N个数据块同时进行上传,与现有技术中通过一个工作节点将整个待上传文本文件进行上传相比,本申请利用N个工作节点实现数据块的上传,能够在充分利用整个集群的性能的同时达到较快的上传速度。

    一种HDFS快照的实现方法及系统

    公开(公告)号:CN105260271A

    公开(公告)日:2016-01-20

    申请号:CN201510796135.8

    申请日:2015-11-18

    Inventor: 房体盈

    Abstract: 本发明公开了一种HDFS快照的实现方法,包括:在定时启动脚本中添加创建快照程序,并设定定时启动所述创建快照程序的时间周期;根据用户操作创建进行快照的HDFS目录;调用所述定时启动脚本,按照所述时间周期对所述HDFS目录创建快照;该实现方法能够为用户指定的HDFS目录连续的创建快照,以保证数据的有效封存和不同版本的恢复;本发明还公开了一种HDFS快照的实现系统。

    一种数据的并行处理方法和系统

    公开(公告)号:CN104036039A

    公开(公告)日:2014-09-10

    申请号:CN201410307198.8

    申请日:2014-06-30

    CPC classification number: G06F17/30445

    Abstract: 本发明公开了一种数据的并行处理方法,包括:一个或多个Map节点读取账户日志数据的分片数据,从分片数据中选出状态持续时间满足查询日期要求的候选数据记录,生成所选出的候选数据记录的第一输出参数和第二输出参数;第一输出参数至少包括账户ID,第二输出参数至少包括:状态开始日、状态结束日和状态值;一个或多个Reduce节点读取Map节点处理完的不同候选数据记录,根据候选数据记录的第一输出参数和第二输出参数分别生成各账户在查询日期范围内的完整历史状态记录;第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取。本发明能提高大规模日志数据的处理效率。本发明还公开了一种数据的并行处理系统。

    一种实现文件上传的方法及系统
    25.
    发明公开

    公开(公告)号:CN103970881A

    公开(公告)日:2014-08-06

    申请号:CN201410208886.9

    申请日:2014-05-16

    CPC classification number: H04L67/06

    Abstract: 本发明公开了一种实现文件上传的方法及装置,包括:获取分布式文件系统(HDFS)预定数量的数据节点;检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。本发明获取预定数量的HDFS的数据节点,通过检测HDFS中的数据节点的连通性后,将文件服务器上传的每个文件相应的HDFS文件上传命令均分给连通的数据节点,实现文件上传,提高文件上传的效率,降低文件上传的时长消耗。

    云终端的虚拟机登录方法、装置和系统

    公开(公告)号:CN103108046A

    公开(公告)日:2013-05-15

    申请号:CN201310046341.8

    申请日:2013-02-05

    Inventor: 房体盈 朱波

    Abstract: 本发明提供了一种云终端的虚拟机登录方法、装置和系统。涉及计算机应用领域;解决了机器配置无法达到应用程序配置要求的问题。该方法包括:通过云终端认证登录云OS,并向所述云OS输入虚拟机配置需求;云终端接收所述云OS返回的云桌面。本发明提供的技术方案适用于云计算,实现了通过任意设备访问云OS。

    数据库崩溃处理方法、装置和系统

    公开(公告)号:CN102629260A

    公开(公告)日:2012-08-08

    申请号:CN201210050509.8

    申请日:2012-02-29

    Inventor: 房体盈 朱波

    Abstract: 本发明提供了一种数据库崩溃处理方法、装置和系统。涉及计算机应用领域;解决了保证数据库系统提供服务的稳定性的问题。该方法包括:在主SQL数据库服务器提供服务时,监控所述主SQL数据库服务器的工作状态;在所述主SQL数据库服务器崩溃时,将指向所述主SQL数据库服务器的域名修改为指向所述主SQL数据库服务器的从SQL数据库服务器。本发明提供的技术方案适用于云操作系统,实现了稳定的数据库。

Patent Agency Ranking