一种基于WEB的可视化大数据工作流配置方法及系统

    公开(公告)号:CN108037919A

    公开(公告)日:2018-05-15

    申请号:CN201711246865.6

    申请日:2017-12-01

    Abstract: 本公开公开了一种基于WEB的可视化大数据工作流配置方法及系统,通过浏览器使用拖拽的方式和向导界面实现工作流配置,提升开发效率,降低人员成本。同时,提供完善的MapReduce/Hive/Spark支持,当前主流的大数据处理程序为HiveSQL、MapReduce、Spark、SparkSQL,本公开试图对上述大数据分布式处理程序提供完善的支持。进一步的,本公开的方案能够提升运行速度,实现为轻量级的分布式工作流引擎,提升分布式程序的调度、运行速度,提升系统性能。

    一种开发运行大数据业务应用程序的系统和方法

    公开(公告)号:CN108182053A

    公开(公告)日:2018-06-19

    申请号:CN201711297398.X

    申请日:2017-12-08

    Abstract: 本发明提供一种开发运行大数据业务应用程序的系统和方法,所述系统包括:数据处理流程定制单元,其用于根据大数据业务应用的需求,按照数据处理流程的每个节点的可定制的流程项对数据处理流程进行配置以生成数据业务应用程序;数据业务应用程序提交单元,其用于将数据处理流程定制单元生成的数据业务应用程序上传至大数据集群,使用大数据集群提供的运行功能启动所述数据业务应用程序;数据业务应用程序监控单元,其用于在大数据集群运行数据业务应用程序过程中,监控所述数据业务应用程序的运行情况,并及时回馈给用户。

Patent Agency Ranking