一种大数据处理系统的正交分解构造与优化的方法及系统

    公开(公告)号:CN105302551A

    公开(公告)日:2016-02-03

    申请号:CN201510663198.6

    申请日:2015-10-14

    Inventor: 向小佳 赵晓芳

    Abstract: 本发明公开一种大数据处理系统的正交分解构造与优化的方法及系统,该方法包括:采用超级优化的方法,在所述大数据处理系统执行逻辑的中间表示代码或二进制硬件指令层面进行离线静态分析,提取优化指令序列作为优化后基本块;创建优化代码数据库,计算所述优化后基本块的指纹,将所述指纹与所述优化后基本块分别存入指纹Map与所述优化代码数据库;采集在线输入的程序,并提取所述程序的基本块,计算所述基本块的指纹,将所述程序的基本块的所述指纹与所述优化代码数据库中的所述指纹进行对比,若匹配则将所述程序的所述基本块输入即时编译引擎执行,其中所述大数据处理系统只负责最核心的资源与任务管理,工作于中间层,与平台、语言无关。

    一种轻量级虚拟机迁移方法

    公开(公告)号:CN103577245A

    公开(公告)日:2014-02-12

    申请号:CN201310520307.X

    申请日:2013-10-29

    Inventor: 向小佳 赵晓芳

    Abstract: 本发明提供一种轻量级虚拟机迁移方法,包括:从源端向目的端并发地迁移构成待迁移虚拟机的各个进程;以及在目的端恢复迁移完成的所述各个进程的运行。所述方法还包括:将构成所述待迁移虚拟机的各个进程的迁移切分为多个时序阶段,其中每个时序阶段对应一个Daemon进程。多个Daemon进程并发工作,每个Daemon进程依次服务所述各个进程的对应时序阶段的资源迁移。本发明在保证了迁移的效率和可靠性的同时,缩短了虚拟机迁移的服务中断时间。

    一种大数据处理系统的正交分解构造与优化的方法及系统

    公开(公告)号:CN105302551B

    公开(公告)日:2018-08-10

    申请号:CN201510663198.6

    申请日:2015-10-14

    Inventor: 向小佳 赵晓芳

    Abstract: 本发明公开一种大数据处理系统的正交分解构造与优化的方法及系统,该方法包括:采用超级优化的方法,在所述大数据处理系统执行逻辑的中间表示代码或二进制硬件指令层面进行离线静态分析,提取优化指令序列作为优化后基本块;创建优化代码数据库,计算所述优化后基本块的指纹,将所述指纹与所述优化后基本块分别存入指纹Map与所述优化代码数据库;采集在线输入的程序,并提取所述程序的基本块,计算所述基本块的指纹,将所述程序的基本块的所述指纹与所述优化代码数据库中的所述指纹进行对比,若匹配则将所述程序的所述基本块输入即时编译引擎执行,其中所述大数据处理系统只负责最核心的资源与任务管理,工作于中间层,与平台、语言无关。

    一种轻量级虚拟机迁移方法

    公开(公告)号:CN103577245B

    公开(公告)日:2017-05-03

    申请号:CN201310520307.X

    申请日:2013-10-29

    Inventor: 向小佳 赵晓芳

    Abstract: 本发明提供一种轻量级虚拟机迁移方法,包括:从源端向目的端并发地迁移构成待迁移虚拟机的各个进程;以及在目的端恢复迁移完成的所述各个进程的运行。所述方法还包括:将构成所述待迁移虚拟机的各个进程的迁移切分为多个时序阶段,其中每个时序阶段对应一个Daemon进程。多个Daemon进程并发工作,每个Daemon进程依次服务所述各个进程的对应时序阶段的资源迁移。本发明在保证了迁移的效率和可靠性的同时,缩短了虚拟机迁移的服务中断时间。

    一种基于Hadoop体系的关系型大数据无缝接入方法及系统

    公开(公告)号:CN105808746A

    公开(公告)日:2016-07-27

    申请号:CN201610141867.8

    申请日:2016-03-14

    CPC classification number: G06F16/284 G06F16/258

    Abstract: 本发明提出基于Hadoop体系的关系型大数据无缝接入方法及系统,该方法包括将获取所述Hadoop体系中的查询语句及元数据信息,并将所述查询语句转换成查询块,根据所述查询块与所述元数据信息生成处理算子树,解析输入的外部的数据源操控、查询语句,生成抽象语法树;将Sqoop算子添加到所述处理算子树中,当所述抽象语法树识别到关键字KW_SQOOP时表示出现外部数据源,识别出所述抽象语法树中所述外部数据源的实例名、外部数据库名和表名,将所述实例名、所述外部数据库名和所述表名存在SQOOP算子当中;通过流水线的方式合并导入导出的MapReduce任务与查询的MapReduce任务;根据所述处理算子树中各节点的shuffle key及父节点与子节点之间的关系,进行任务合并。

Patent Agency Ranking