一种分布式集群下备机选举切换的方法

    公开(公告)号:CN106713056B

    公开(公告)日:2019-06-28

    申请号:CN201710161503.0

    申请日:2017-03-17

    IPC分类号: H04L12/24

    摘要: 本发明提供了一种分布式集群下备机选举切换的方法,步骤如下:确认集群所有主机节点、备机节点拥有唯一的主机名;监控集群中主机节点是否宕机;如果主机节点宕机,则进入步骤3),否则继续进行监控;每个节点将自身的工作状态发送到其他存活的节点;节点检查是否已收到所有其他存活节点的状态信息,若已收到,则进行打分,并进行打分排序,若未收到则继续等待,直到超时;检查当前节点是否是得分最高的节点,如果是得分最高的节点,则将当前节点提升为主机节点,如果当前节点不是得分最高的节点,则将当前节点隶属的主节点切换为得分最高的节点。该方法可以使采用了一主多备架构的分布式集群在发生主机宕机时进行备机选举并自动完成主备切换,以保证集群的可用性。

    一种面向云存储的数据副本放置方法

    公开(公告)号:CN107153696A

    公开(公告)日:2017-09-12

    申请号:CN201710318345.5

    申请日:2017-05-08

    IPC分类号: G06F17/30 H04L29/08

    摘要: 本发明提供了一种面向云存储的数据副本放置方法,用于分布式文件系统中数据副本的放置,包括步骤:A、采集分布式文件系统中各数据节点的地址;B、计算并获取所述分布式文件系统中各数据节点间当前传输数据的数据传输代价;C、以步骤A中所获取的各地址为顶点、以步骤B中当前所得的各数据传输代价为相应的边权重,建立最小割模型;D、获取步骤C中所建立的最小割模型的最小割集;E、获取步骤D中当前所获取的最小割集中所包含的各数据节点,并将其作为所述分布式文件系统中当前用于放置数据副本的数据节点。该方案降低了数据副本的放置代价。

    一种数据处理方法及装置

    公开(公告)号:CN107016128A

    公开(公告)日:2017-08-04

    申请号:CN201710343831.2

    申请日:2017-05-16

    发明人: 臧勇真 戴雪冰

    IPC分类号: G06F17/30

    CPC分类号: G06F16/217 G06F16/215

    摘要: 本发明提供一种数据处理方法及装置,上述方法包括以下步骤:通过消息中间件传输来自不同数据源的数据;对所述数据进行流式处理,并将经过处理的数据保存至数据库,实现了数据一次收取,多次分发,不必将数据进行多次抽取,减轻了源头数据库的压力,并且实现了对数据的实时计算,提高了数据处理效率。

    一种Hadoop计算存储分离方法

    公开(公告)号:CN106953910A

    公开(公告)日:2017-07-14

    申请号:CN201710161929.6

    申请日:2017-03-17

    IPC分类号: H04L29/08 G06F9/445

    摘要: 本发明提供一种Hadoop计算存储分离方法,包括:S1:在宿主机部署Kubernetes集群;S2:将宿主机的数据盘格式化,并挂载到系统盘固定目录;S3:命令行部署容器化的Hdfs NameNode节点和DataNode节点;S4:编写Yarn部署文件,基于Kubernetes集群的PetSet特性和ConfigMap特性部署Yarn集群;S5:进行Yarn集群测试。本发明将大数据存储组件和计算组件分离,将计算组件部署在Kuberentes环境,管理员可以根据业务场景的资源需求部署不同的计算组件,当大数据任务结束时,可以将计算组件删除,将不使用的资源释放,从而提高资源利用率,节省成本。

    一种分布式集群下备机选举切换的方法

    公开(公告)号:CN106713056A

    公开(公告)日:2017-05-24

    申请号:CN201710161503.0

    申请日:2017-03-17

    IPC分类号: H04L12/24

    CPC分类号: H04L41/0668 H04L41/30

    摘要: 本发明提供了一种分布式集群下备机选举切换的方法,步骤如下:确认集群所有主机节点、备机节点拥有唯一的主机名;监控集群中主机节点是否宕机;如果主机节点宕机,则进入步骤3),否则继续进行监控;每个节点将自身的工作状态发送到其他存活的节点;节点检查是否已收到所有其他存活节点的状态信息,若已收到,则进行打分,并进行打分排序,若未收到则继续等待,直到超时;检查当前节点是否是得分最高的节点,如果是得分最高的节点,则将当前节点提升为主机节点,如果当前节点不是得分最高的节点,则将当前节点隶属的主节点切换为得分最高的节点。该方法可以使采用了一主多备架构的分布式集群在发生主机宕机时进行备机选举并自动完成主备切换,以保证集群的可用性。