基于FLINK的ETL处理方法

    公开(公告)号:CN110851514B

    公开(公告)日:2022-10-21

    申请号:CN201910985841.5

    申请日:2019-10-17

    Inventor: 冯明潇 范渊

    Abstract: 本发明提供一种基于FLINK的ETL处理方法:包括以下步骤:1)、输入定义ETL任务的结构化查询语言SQL;执行步骤2;2)、控制程序解析SQL。本发明通过SQL定义ETL的方式ETL降低任务的开发成本,可以让业务人员能够直接定义ETL任务,而不用开发人员介入处理,从而降低执行ETL任务的成本,在数据处理过程中,会有大量不同的ETL任务需要执行,从而避免开发人员针对每一个ETL任务都需要开发一个新的应用程序。

    Token生成方法、基于Token的追踪方法及装置

    公开(公告)号:CN109067542B

    公开(公告)日:2021-07-06

    申请号:CN201810766581.8

    申请日:2018-07-12

    Abstract: 本发明提供的Token生成方法、基于Token的追踪方法及装置,属于互联网技术领域。该Token生成方法包括获取用户信息;加密所述用户信息,生成加密数据;基于预设算法对所述加密数据进行处理,生成摘要数据;将所述摘要数据作为客户端Token;将所述客户端Token与所述用户信息发送至服务端进行存储。通过采集用户信息,加密所述用户信息,生成加密数据。将加密数据处理后生成摘要数据,可以使得无论输入多长的数据,经过摘要处理后输出的数据的大小是固定的。从而使得请求包大小不受客户端信息影响,进而有效提高请求效率。

    基于FLINK的ETL处理方法

    公开(公告)号:CN110851514A

    公开(公告)日:2020-02-28

    申请号:CN201910985841.5

    申请日:2019-10-17

    Inventor: 冯明潇 范渊

    Abstract: 本发明提供一种基于FLINK的ETL处理方法:包括以下步骤:1)、输入定义ETL任务的结构化查询语言SQL;执行步骤2;2)、控制程序解析SQL。本发明通过SQL定义ETL的方式ETL降低任务的开发成本,可以让业务人员能够直接定义ETL任务,而不用开发人员介入处理,从而降低执行ETL任务的成本,在数据处理过程中,会有大量不同的ETL任务需要执行,从而避免开发人员针对每一个ETL任务都需要开发一个新的应用程序。

    Token生成方法、基于Token的追踪方法及装置

    公开(公告)号:CN109067542A

    公开(公告)日:2018-12-21

    申请号:CN201810766581.8

    申请日:2018-07-12

    CPC classification number: H04L9/3213 H04L9/0631 H04L9/3239

    Abstract: 本发明提供的Token生成方法、基于Token的追踪方法及装置,属于互联网技术领域。该Token生成方法包括获取用户信息;加密所述用户信息,生成加密数据;基于预设算法对所述加密数据进行处理,生成摘要数据;将所述摘要数据作为客户端Token;将所述客户端Token与所述用户信息发送至服务端进行存储。通过采集用户信息,加密所述用户信息,生成加密数据。将加密数据处理后生成摘要数据,可以使得无论输入多长的数据,经过摘要处理后输出的数据的大小是固定的。从而使得请求包大小不受客户端信息影响,进而有效提高请求效率。

Patent Agency Ranking