公开(公告)号：CN107566341B

公开(公告)日：2020-03-31

申请号：CN201710638295.9

申请日：2017-07-31

Applicant: 南京邮电大学

Inventor： 李鹏 ,  陈芳州 ,  徐鹤 ,  王汝传 ,  宋金全 ,  李亮德

IPC: H04L29/06 ,  H04L29/08 ,  G06F11/14 ,  G06F16/27

Abstract: 本发明推出了一种基于联邦分布式文件存储系统的数据持久化存储方法及系统。本方法利用传感器收集物联网传送过来的数据，并上传到服务器同时对数据进行数据清洗划分以存入到具有不同备份策略的联邦HDFS中，联邦HDFS对数据进行持久化的存储，Spark Streaming读取联邦HDFS中的数据并进行处理，经过Spark Streaming处理后的结果数据分别写入到联邦HDFS和MySQL数据库中，对于写入到联邦HDFS的结果数据，在存储前也是要经过清洗划分再进行持久化的存储；对于写入到MySQL中的数据用于对结果数据进行分析。

公开(公告)号：CN107566341A

公开(公告)日：2018-01-09

申请号：CN201710638295.9

申请日：2017-07-31

Applicant: 南京邮电大学

Inventor： 李鹏 ,  陈芳州 ,  徐鹤 ,  王汝传 ,  宋金全 ,  李亮德

IPC: H04L29/06 ,  H04L29/08 ,  G06F11/14 ,  G06F17/30

Abstract: 本发明推出了一种基于联邦分布式文件存储系统的数据持久化存储方法及系统。本方法利用传感器收集物联网传送过来的数据，并上传到服务器同时对数据进行数据清洗划分以存入到具有不同备份策略的联邦HDFS中，联邦HDFS对数据进行持久化的存储，Spark Streaming读取联邦HDFS中的数据并进行处理，经过Spark Streaming处理后的结果数据分别写入到联邦HDFS和MySQL数据库中，对于写入到联邦HDFS的结果数据，在存储前也是要经过清洗划分再进行持久化的存储；对于写入到MySQL中的数据用于对结果数据进行分析。

公开(公告)号：CN107391719A

公开(公告)日：2017-11-24

申请号：CN201710638294.4

申请日：2017-07-31

Applicant: 南京邮电大学

Inventor： 李鹏 ,  李亮德 ,  徐鹤 ,  王汝传 ,  陈芳州 ,  宋金全

IPC: G06F17/30 ,  H04L29/08

CPC classification number: G06F17/30516 ,  G06F17/30194 ,  G06F17/30442 ,  G06F17/30545 ,  H04L67/10 ,  H04L67/12

Abstract: 本发明提出一种云环境中分布式流数据处理方法及系统，针对物联网时代数据量并发量大、流动快等特点，本发明用流式计算引擎Spark Streaming取代了传统的Lambda架构的MapReduce批处理计算，并通过实例化多个输入流实现对多表数据的流计算，将计算结果保存在分布式文件系统HDFS中，通过分布式查询系统Impala实现高效查询。