公开(公告)号：CN117807241A

公开(公告)日：2024-04-02

申请号：CN202311669055.7

申请日：2023-12-06

Applicant: 万达信息股份有限公司

Inventor： 王琳娜 ,  魏元宇 ,  梁永锋 ,  张玉双

IPC: G06F16/36 ,  G06F40/151 ,  G06F16/2455

Abstract: 本发明的技术方案是公开了一种基于图结构文本和抽象工厂的flink实时任务计算方法。本发明通过对图结构文本解析和抽象工厂转化为flink算子图，构建基于图结构的flink读写和计算的任务并执行运算。在参考实时任务的规则，设计实时任务的图结构文本，通过抽象工厂将图结构解析为flink算子图，基于工厂定义的算子交互流程例如广度优先算法遍历flink算子图，从而用低代码、易扩展的方式构建flink实时应用，以此降低构建应用成本和人员培训等成本。

公开(公告)号：CN117633005A

公开(公告)日：2024-03-01

申请号：CN202311669288.7

申请日：2023-12-06

Applicant: 万达信息股份有限公司

Inventor： 梁永锋 ,  肖培栋 ,  张玉双

IPC: G06F16/242 ,  G06F16/2453 ,  G06F16/22

Abstract: 本发明的技术方案是公开了一种将Spark SQL转化为数据处理管道图的方法，其特征在于，包括以下步骤：通过解析SQL语句，获取数据处理的业务逻辑，形成抽象语法树，抽象语法树由节点组成，每个节点代表SQL语句的不同部分或操作；将抽象语法树的元素按算子进行拆解，填充算子内部配置信息以及执行逻辑，并形成算子之间的关系，即执行依赖顺序，从而输出数据处理逻辑图。本发明提供了一种Spark SQL转化为数据处理管道图方法，用户以SQL的形式录入业务逻辑，平台可以将其转发为数据处理管道图，连接不同的数据读取算子、各种数据处理算子及数据写入算子，用户可在此基础上进行参数配置。