一种云平台中分布式应用的智能部署方法及系统

    公开(公告)号:CN103810023B

    公开(公告)日:2016-09-07

    申请号:CN201410080662.4

    申请日:2014-03-06

    Abstract: 本发明涉及一种云平台中分布式应用的智能部署方法及系统,其方法为用户提交运行作业及资源需求;调度管理器将运行作业指定的可执行程序存储到分布式存储系统中,并记录存储位置;调度管理器根据运行作业中包含实例的个数形成相应数量的任务,为各个任务匹配物理节点,并将各任务下发给最匹配物理节点的任务执行器;最匹配物理节点的任务执行器根据任务中包含的信息配置虚拟机并启动;虚拟机根据任务中包含的信息自动从分布式存储系统中获取可执行程序并运行;本发明其使得云平台中多个分布式应用程序可以共享一个物理集群的资源,并给用户提供一种简单、透明、自动的部署接口,方便分布式应用程序的智能化部署,提高了资源的利用率。

    一种异构集群中面向混合负载的任务调度方法及系统

    公开(公告)号:CN104243617A

    公开(公告)日:2014-12-24

    申请号:CN201410543294.2

    申请日:2014-10-14

    Abstract: 本发明涉及一种异构集群中面向混合负载的任务调度方法及系统,包括以下步骤:资源调度器接收机器心跳,维护机器的属性簇;作业管理器接收并解析作业,获得若干个任务;作业管理器为任务设置属性簇和约束需求,并将任务信息发送给资源管理器;资源调度器为任务匹配满足约束且最优的机器,并将任务与机器的匹配关系返回给作业管理器;作业管理器将任务下发到匹配机器上的执行器上,执行任务。本发明通过一种易拓展的约束描述方法来表示异构化的机器属性和任务需求,在此基础上,将硬约束作为过滤标准,将软约束作为选择标准,为任务分配最优机器,显著提高了任务的执行效率和系统的整体性能。

    一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808A

    公开(公告)日:2013-10-02

    申请号:CN201310256296.9

    申请日:2013-06-25

    Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    一种面向流式数据的自动伸缩及迁移的方法及装置

    公开(公告)号:CN103530189B

    公开(公告)日:2018-01-19

    申请号:CN201310455128.2

    申请日:2013-09-29

    Abstract: 本发明涉及一种面向流式数据的自动伸缩及迁移方法,包括以下步骤:调度管理器包括收集模块、调度模块和监控模块,所述调度模块根据待调度作业的信息生成包括多个处理单元的处理单元队列;调度模块将所有处理单元分别分配给对应的物理节点,执行器在处理单元所在的物理节点上创建一个linux容器;收集模块通过监控linux容器的资源利用率得到处理单元的资源利用率;监控模块调整处理单元的资源配额;监控模块将处理单元迁移到其它的资源利用率低的物理节点上。本发明根据实际负载动态调整资源,避免资源浪费,提高了资源利用率,并提出一种处理单元迁移方法,在物理节点负载明显不均衡时,迁移特定的处理节点,实现了面向流式数据的动态负载均衡。

    一种单节点同时运行不同类型虚拟机的方法及系统

    公开(公告)号:CN103870314B

    公开(公告)日:2017-01-25

    申请号:CN201410080648.4

    申请日:2014-03-06

    Abstract: 本发明涉及一种单节点同时运行不同类型虚拟机的方法及系统,实现方法为,解析任务请求中包含的对运行虚拟机的资源需求;将CPU参数转换成cgroup框架可识别的参数,判断待创建的虚拟机类型,如果是轻量级虚拟机,直接将资源需求传递给底层cgroup框架,建立并启动轻量级虚拟机;如果是全虚拟机,接将资源需求传递给底层cgroup框架,cgroup框架创建一个容器,在容器中建立所需的全虚拟机;利用网桥技术和TBF令牌桶过滤器技术将建立的轻量级虚拟机或全虚拟机接入局域网并进行网络I/O控制;本发明使得不同类型的虚拟机可以共享一台物理机的资源,提供给用户一种简单、透明、统一使用虚拟机的接口,提高了资源利用率。

    一种作业调度方法及系统

    公开(公告)号:CN105022668A

    公开(公告)日:2015-11-04

    申请号:CN201510212805.7

    申请日:2015-04-29

    Abstract: 本发明公开了一种作业调度方法及系统,其中方法包括:获取到至少一个用户的作业信息,利用所述至少一个用户的作业信息,计算得到每个用户的至少一个作业的第一特征参数;所述第一特征参数用于表征所述作业的处理紧急度;基于所述每个用户的至少一个作业的第一特征参数,分别选取至少一个用户中每个用户的第一作业;根据所述每个用户的第一作业的第一特征参数,从至少一个用户的所述每个用户的第一作业中选取第二作业;当所述第二作业符合第一预设条件时,选取第三作业;所述第一预设条件表征所述第二作业的第一特征参数大于第一预设门限值;将所述第三作业对应的资源分配给所述第二作业,并利用分配的所述资源处理所述第二作业。

    一种面向流式数据的作业调度方法及装置

    公开(公告)号:CN103491024A

    公开(公告)日:2014-01-01

    申请号:CN201310451552.X

    申请日:2013-09-27

    Abstract: 本发明涉及一种面向流式数据的作业调度方法,包括以下步骤:调度管理器从调度队列中实时获取待调度作业,根据待调度作业的信息利用有向无环图生成处理单元队列;调度管理器根据物理节点的非本地通信数和主导资源比例,为处理单元队列中的每个处理单元分别选择物理节点,将所有处理单元分别分配给对应的物理节点;执行器在启动处理单元时,先在该物理节点上创建一个linux容器,然后在linux容器内部启动处理单元。本发明将处理单元调度到非本地通信数较小、负载较低的物理节点上,可以将需要频繁通信的处理单元集中到同一物理节点,减少了跨物理节点的网络通信。

    一种作业调度方法及系统

    公开(公告)号:CN105022668B

    公开(公告)日:2020-11-06

    申请号:CN201510212805.7

    申请日:2015-04-29

    Abstract: 本发明公开了一种作业调度方法及系统,其中方法包括:获取到至少一个用户的作业信息,利用所述至少一个用户的作业信息,计算得到每个用户的至少一个作业的第一特征参数;所述第一特征参数用于表征所述作业的处理紧急度;基于所述每个用户的至少一个作业的第一特征参数,分别选取至少一个用户中每个用户的第一作业;根据所述每个用户的第一作业的第一特征参数,从至少一个用户的所述每个用户的第一作业中选取第二作业;当所述第二作业符合第一预设条件时,选取第三作业;所述第一预设条件表征所述第二作业的第一特征参数大于第一预设门限值;将所述第三作业对应的资源分配给所述第二作业,并利用分配的所述资源处理所述第二作业。

    一种基于虚拟化实现主备故障自动恢复的方法及系统

    公开(公告)号:CN103559108B

    公开(公告)日:2017-05-17

    申请号:CN201310558217.X

    申请日:2013-11-11

    Abstract: 本发明涉及一种基于虚拟化实现主备故障自动恢复的方法及系统,部署包括控制中心和若干台物理机的集群系统,每台物理机上运行若干个虚拟机;所述控制中心实时监控所有物理机的运行状态,每台物理机实时监控其内部若干个虚拟机的运行状态;当出现故障时,判断是虚拟机故障还是物理机故障,然后进行针对性的故障自动恢复处理;本发明将虚拟化技术引入到主从系统的故障恢复中,可自动实现故障感知和故障恢复,不需要人工参与,相比传统的手动恢复方式,可以做到快速故障恢复,将恢复时间控制在分钟级,从而缩短了只有一台机器提供服务的不稳定时间;且本发明既可实现虚拟机故障的快速恢复,还可实现物理机故障的快速恢复,扩大了可靠性的保障范围。

Patent Agency Ranking