公开(公告)号：CN103279390B

公开(公告)日：2016-09-28

申请号：CN201310210251.8

申请日：2013-05-30

Applicant: 中国科学院信息工程研究所

Inventor： 戴娇 ,  韩冀中 ,  姜冰 ,  易龙

IPC: G06F9/50

Abstract: 本发明涉及一种面向小作业优化的并行处理系统，由下至上依次包括资源管理模块、资源伸缩模块、计算系统模块、模型翻译模块和作业逻辑模块；所述资源管理模块实现对整体系统的资源管理并提供管理平台；所述资源伸缩模块在管理平台上为计算系统模块提供工作节点；所述计算系统模块是系统的运行时的环境，用于实现在一个JVMJava虚拟机中的不同线程之间直接共享数据；所述模型翻译模块用于将作业逻辑翻译成运行环境中可识别的工作流；所述作业逻辑模块用于设置数据传输模式和逻辑表达模型。本发明实现了一套编程可扩展、资源可伸缩的并行处理系统Binos，以及Binos‑HashMR和Binos‑FileMR两套不同的MapReduce编程模型，通过数据存储、传输、处理逻辑等相关方面的优化，显著提高了小作业的执行效率。

公开(公告)号：CN103279390A

公开(公告)日：2013-09-04

申请号：CN201310210251.8

申请日：2013-05-30

Applicant: 中国科学院信息工程研究所

Inventor： 戴娇 ,  韩冀中 ,  姜冰 ,  易龙

IPC: G06F9/50

Abstract: 本发明涉及一种面向小作业优化的并行处理系统，由下至上依次包括资源管理模块、资源伸缩模块、计算系统模块、模型翻译模块和作业逻辑模块；所述资源管理模块实现对整体系统的资源管理并提供管理平台；所述资源伸缩模块在管理平台上为计算系统模块提供工作节点；所述计算系统模块是系统的运行时的环境，用于实现在一个JVMJava虚拟机中的不同线程之间直接共享数据；所述模型翻译模块用于将作业逻辑翻译成运行环境中可识别的工作流；所述作业逻辑模块用于设置数据传输模式和逻辑表达模型。本发明实现了一套编程可扩展、资源可伸缩的并行处理系统Binos，以及Binos-HashMR和Binos-FileMR两套不同的MapReduce编程模型，通过数据存储、传输、处理逻辑等相关方面的优化，显著提高了小作业的执行效率。