一种单节点同时运行不同类型虚拟机的方法及系统

    公开(公告)号:CN103870314A

    公开(公告)日:2014-06-18

    申请号:CN201410080648.4

    申请日:2014-03-06

    Abstract: 本发明涉及一种单节点同时运行不同类型虚拟机的方法及系统,实现方法为,解析任务请求中包含的对运行虚拟机的资源需求;将CPU参数转换成cgroup框架可识别的参数,判断待创建的虚拟机类型,如果是轻量级虚拟机,直接将资源需求传递给底层cgroup框架,建立并启动轻量级虚拟机;如果是全虚拟机,接将资源需求传递给底层cgroup框架,cgroup框架创建一个容器,在容器中建立所需的全虚拟机;利用网桥技术和TBF令牌桶过滤器技术将建立的轻量级虚拟机或全虚拟机接入局域网并进行网络I/O控制;本发明使得不同类型的虚拟机可以共享一台物理机的资源,提供给用户一种简单、透明、统一使用虚拟机的接口,提高了资源利用率。

    一种基于虚拟化实现主备故障自动恢复的方法及系统

    公开(公告)号:CN103559108A

    公开(公告)日:2014-02-05

    申请号:CN201310558217.X

    申请日:2013-11-11

    Abstract: 本发明涉及一种基于虚拟化实现主备故障自动恢复的方法及系统,部署包括控制中心和若干台物理机的集群系统,每台物理机上运行若干个虚拟机;所述控制中心实时监控所有物理机的运行状态,每台物理机实时监控其内部若干个虚拟机的运行状态;当出现故障时,判断是虚拟机故障还是物理机故障,然后进行针对性的故障自动恢复处理;本发明将虚拟化技术引入到主从系统的故障恢复中,可自动实现故障感知和故障恢复,不需要人工参与,相比传统的手动恢复方式,可以做到快速故障恢复,将恢复时间控制在分钟级,从而缩短了只有一台机器提供服务的不稳定时间;且本发明既可实现虚拟机故障的快速恢复,还可实现物理机故障的快速恢复,扩大了可靠性的保障范围。

    一种面向流式数据的自动伸缩及迁移的方法及装置

    公开(公告)号:CN103530189A

    公开(公告)日:2014-01-22

    申请号:CN201310455128.2

    申请日:2013-09-29

    Abstract: 本发明涉及一种面向流式数据的自动伸缩及迁移方法,包括以下步骤:调度管理器包括收集模块、调度模块和监控模块,所述调度模块根据待调度作业的信息生成包括多个处理单元的处理单元队列;调度模块将所有处理单元分别分配给对应的物理节点,执行器在处理单元所在的物理节点上创建一个linux容器;收集模块通过监控linux容器的资源利用率得到处理单元的资源利用率;监控模块调整处理单元的资源配额;监控模块将处理单元迁移到其它的资源利用率低的物理节点上。本发明根据实际负载动态调整资源,避免资源浪费,提高了资源利用率,并提出一种处理单元迁移方法,在物理节点负载明显不均衡时,迁移特定的处理节点,实现了面向流式数据的动态负载均衡。

    日志数据处理方法及系统
    14.
    发明公开

    公开(公告)号:CN103401937A

    公开(公告)日:2013-11-20

    申请号:CN201310341764.2

    申请日:2013-08-07

    Abstract: 本发明涉及一种日志数据处理方法及系统。其中,日志数据处理方法包括:步骤一,设置每个发送端都与所有的服务器相连;步骤二,发送端为自身产生的每条日志分配一个日志标识;步骤三,发送端查询发送记录表中是否存在待发送日志的日志标识,若存在则从发送记录表中获取与该待发送日志的日志标识对应的服务器标识,该服务器标识对应的服务器即为选择的服务器;步骤四,发送端将待发送日志数据直接发送给选择的服务器。本发明的日志数据处理方法及系统,避免了负载均衡器成为性能瓶颈,使得应用本发明日志数据处理方法的系统具有良好的可扩展性,较好地适应了日志分析中输入数据量大、输出数据量小的特点。

    一种异构集群中面向混合负载的任务调度方法及系统

    公开(公告)号:CN104243617B

    公开(公告)日:2017-10-27

    申请号:CN201410543294.2

    申请日:2014-10-14

    Abstract: 本发明涉及一种异构集群中面向混合负载的任务调度方法及系统,包括以下步骤:资源调度器接收机器心跳,维护机器的属性簇;作业管理器接收并解析作业,获得若干个任务;作业管理器为任务设置属性簇和约束需求,并将任务信息发送给资源管理器;资源调度器为任务匹配满足约束且最优的机器,并将任务与机器的匹配关系返回给作业管理器;作业管理器将任务下发到匹配机器上的执行器上,执行任务。本发明通过一种易拓展的约束描述方法来表示异构化的机器属性和任务需求,在此基础上,将硬约束作为过滤标准,将软约束作为选择标准,为任务分配最优机器,显著提高了任务的执行效率和系统的整体性能。

    一种面向流式数据的作业调度方法及装置

    公开(公告)号:CN103491024B

    公开(公告)日:2017-01-11

    申请号:CN201310451552.X

    申请日:2013-09-27

    Abstract: 本发明涉及一种面向流式数据的作业调度方法,包括以下步骤:调度管理器从调度队列中实时获取待调度作业,根据待调度作业的信息利用有向无环图生成处理单元队列;调度管理器根据物理节点的非本地通信数和主导资源比例,为处理单元队列中的每个处理单元分别选择物理节点,将所有处理单元分别分配给对应的物理节点;执行器在启动处理单元时,先在该物理节点上创建一个linux容器,然后在linux容器内部启动处理单元。本发明将处理单元调度到非本地通信数较小、负载较低的物理节点上,可以将需要频繁通信的处理单元集中到同一物理节点,减少了跨物理节点的网络通信。

    面向分布式编程框架的资源管理系统

    公开(公告)号:CN102866918B

    公开(公告)日:2016-02-24

    申请号:CN201210262881.5

    申请日:2012-07-26

    Abstract: 本发明涉及一种面向分布式编程框架的资源管理系统。该面向分布式编程框架的资源管理系统包括主部分和从部分,从部分用于启动编程框架执行器,监控编程框架执行器的运行状态,向主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息;主部分包括:收集器,用于接收并保存从部分的资源使用信息和从部分上编程框架执行器的资源使用信息,保存集群资源信息,收集器中包括监控器,用于监控从部分上编程框架执行器的资源使用信息,根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务;调度器,用于调度、下发和控制监控器发送的任务。本发明具有良好的兼容性与灵活性。

    一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808B

    公开(公告)日:2017-12-15

    申请号:CN201310256296.9

    申请日:2013-06-25

    Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    日志数据处理方法及系统
    19.
    发明授权

    公开(公告)号:CN103401937B

    公开(公告)日:2016-06-08

    申请号:CN201310341764.2

    申请日:2013-08-07

    Abstract: 本发明涉及一种日志数据处理方法及系统。其中,日志数据处理方法包括:步骤一,设置每个发送端都与所有的服务器相连;步骤二,发送端为自身产生的每条日志分配一个日志标识;步骤三,发送端查询发送记录表中是否存在待发送日志的日志标识,若存在则从发送记录表中获取与该待发送日志的日志标识对应的服务器标识,该服务器标识对应的服务器即为选择的服务器;步骤四,发送端将待发送日志数据直接发送给选择的服务器。本发明的日志数据处理方法及系统,避免了负载均衡器成为性能瓶颈,使得应用本发明日志数据处理方法的系统具有良好的可扩展性,较好地适应了日志分析中输入数据量大、输出数据量小的特点。

    一种云平台中分布式应用的智能部署方法及系统

    公开(公告)号:CN103810023A

    公开(公告)日:2014-05-21

    申请号:CN201410080662.4

    申请日:2014-03-06

    Abstract: 本发明涉及一种云平台中分布式应用的智能部署方法及系统,其方法为用户提交运行作业及资源需求;调度管理器将运行作业指定的可执行程序存储到分布式存储系统中,并记录存储位置;调度管理器根据运行作业中包含实例的个数形成相应数量的任务,为各个任务匹配物理节点,并将各任务下发给最匹配物理节点的任务执行器;最匹配物理节点的任务执行器根据任务中包含的信息配置虚拟机并启动;虚拟机根据任务中包含的信息自动从分布式存储系统中获取可执行程序并运行;本发明其使得云平台中多个分布式应用程序可以共享一个物理集群的资源,并给用户提供一种简单、透明、自动的部署接口,方便分布式应用程序的智能化部署,提高了资源的利用率。

Patent Agency Ranking