公开(公告)号：CN107169033B

公开(公告)日：2020-03-31

申请号：CN201710249567.6

申请日：2017-04-17

Applicant: 东北大学 ,  北方工业大学

Inventor： 聂铁铮 ,  申德荣 ,  寇月 ,  于戈 ,  高晶 ,  房俊 ,  杨冬菊

IPC: G06F16/2453 ,  G06F16/28

Abstract: 本发明提供一种基于数据模式转换和并行框架的关系数据查询优化方法，涉及计算机数据库技术领域。该方法通过对关系模型数据上复杂查询语句进行结构分析，构建新的数据存储结构，实现在数据存储上的转换处理，将关系模型数据库中存储的数据转存到新的数据模式存储系统中，针对数据模式的变化进行相应查询语句的转换，基于SPARK SQL查询生成SPARK任务并执行该任务。本发明提供的关系数据查询优化方法能够将关系数据库中的数据针对查询的特征准确地转换到SPARK并行查询处理框架之上，从而有效提高对关系数据库上部分频繁执行的复杂查询的处理效率。

公开(公告)号：CN109495537A

公开(公告)日：2019-03-19

申请号：CN201811088616.3

申请日：2018-09-18

Applicant: 北方工业大学

Inventor： 房俊 ,  赵卓峰 ,  韩燕波

IPC: H04L29/08 ,  H04L29/06

Abstract: 本发明提供了一种物联网监测大数据的存储系统和存储方法。该存储系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。本发明的存储系统和存储方法能够对全量数据进行存储并提高存储性能。

公开(公告)号：CN103237045A

公开(公告)日：2013-08-07

申请号：CN201310057203.X

申请日：2013-02-22

Applicant: 北方工业大学

Inventor： 赵卓峰 ,  王菁 ,  房俊 ,  韩燕波

IPC: H04L29/08 ,  G08G1/01

Abstract: 本发明涉及一种大规模实时交通数据的并行处理系统和大规模实时交通数据的并行处理方法。其中，大规模实时交通数据的并行处理系统包括通信服务器组，用于接收前端监测设备采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；交通数据发布/订阅器，用于建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。本发明的大规模实时交通数据的并行处理系统和处理方法能，能够增强交通数据实时采集及海量交通数据处理的能力，同时满足交通业务发展下的扩展性需求。

公开(公告)号：CN109495537B

公开(公告)日：2022-01-28

申请号：CN201811088616.3

申请日：2018-09-18

Applicant: 北方工业大学

Inventor： 房俊 ,  赵卓峰 ,  韩燕波

IPC: H04L67/12 ,  H04L67/1097 ,  H04L67/5651 ,  H04L69/04

Abstract: 本发明提供了一种物联网监测大数据的存储系统和存储方法。该存储系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。本发明的存储系统和存储方法能够对全量数据进行存储并提高存储性能。

公开(公告)号：CN107169033A

公开(公告)日：2017-09-15

申请号：CN201710249567.6

申请日：2017-04-17

Applicant: 东北大学 ,  北方工业大学

Inventor： 聂铁铮 ,  申德荣 ,  寇月 ,  于戈 ,  高晶 ,  房俊 ,  杨冬菊

IPC: G06F17/30

Abstract: 本发明提供一种基于数据模式转换和并行框架的关系数据查询优化方法，涉及计算机数据库技术领域。该方法通过对关系模型数据上复杂查询语句进行结构分析，构建新的数据存储结构，实现在数据存储上的转换处理，将关系模型数据库中存储的数据转存到新的数据模式存储系统中，针对数据模式的变化进行相应查询语句的转换，基于SPARK SQL查询生成SPARK任务并执行该任务。本发明提供的关系数据查询优化方法能够将关系数据库中的数据针对查询的特征准确地转换到SPARK并行查询处理框架之上，从而有效提高对关系数据库上部分频繁执行的复杂查询的处理效率。

公开(公告)号：CN103237045B

公开(公告)日：2015-12-09

申请号：CN201310057203.X

申请日：2013-02-22

Applicant: 北方工业大学

Inventor： 赵卓峰 ,  王菁 ,  房俊 ,  韩燕波

IPC: H04L29/08 ,  G08G1/01

Abstract: 本发明涉及一种大规模实时交通数据的并行处理系统和大规模实时交通数据的并行处理方法。其中，大规模实时交通数据的并行处理系统包括通信服务器组，用于接收前端监测设备采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；交通数据发布/订阅器，用于建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。本发明的大规模实时交通数据的并行处理系统和处理方法能，能够增强交通数据实时采集及海量交通数据处理的能力，同时满足交通业务发展下的扩展性需求。