一种基于标准SQL的流式数据清洗转换方法和系统

    公开(公告)号:CN113760877A

    公开(公告)日:2021-12-07

    申请号:CN202110337239.8

    申请日:2021-03-10

    Abstract: 本发明公开了一种基于标准SQL的流式数据清洗转换方法和系统,根据本发明的一方面包括以下步骤:S1、系统初始化,针对系统库、工作线程、Groovy函数线程、SQL解析引擎进行初始化操作;S2、在上述初始化完成以后,系统开始进行数据清洗转换的工作。根据本发明的另一方面还包括系统初始化模块、内置算子库、SQL解析引擎、提交SQL模块、提交Groovy模块、Groovy类初始化模块、Groovy执行模块、数据重组模块、数据输入和输出模块。本发明的有益效果为:更加高效、便捷、灵活地对流式数据清洗、转换,筛选符合条件的数据,让数据对用户更加有价值。

Patent Agency Ranking