发明公开
CN107832451A 一种简化的大数据清洗方式
无效 - 撤回
- 专利标题: 一种简化的大数据清洗方式
- 专利标题(英): Simplified big data cleaning mode
-
申请号: CN201711182073.7申请日: 2017-11-23
-
公开(公告)号: CN107832451A公开(公告)日: 2018-03-23
- 发明人: 石文威
- 申请人: 安徽科创智慧知识产权服务有限公司
- 申请人地址: 安徽省亳州市工业园区西一环以东、光华路以北、光明西路南侧
- 专利权人: 安徽科创智慧知识产权服务有限公司
- 当前专利权人: 安徽科创智慧知识产权服务有限公司
- 当前专利权人地址: 安徽省亳州市工业园区西一环以东、光华路以北、光明西路南侧
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明公开了一种简化的大数据清洗方式,包括大数据清洗任务单元库、Spark SQL模块、Spark-ETL SDK模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台,其特征在于,用户通过网页服务端添加需要的清洗单元与需要执行的算法任务,Spark SQL模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能,清洗单元以及算法任务从大数据清洗任务单元库中提取,流水线配置模块实现SDK定义的接口提交到工作服务器进行有效的运行。本发明整个过程只需要编写配置大数据清洗流水线的定义文件,而无需复杂的代码编程,尤其是不需要深厚的Spark编程能力即可实现利用Spark完成大数据清洗。