-
公开(公告)号：CN106126604A
公开(公告)日：2016-11-16
申请号：CN201610452790.6
申请日：2016-06-20
Applicant: 华南理工大学
CPC classification number: G06F16/2471 , G06F16/254 , G06Q50/26
Abstract: 本发明公开了一种基于分布式数据仓库的社保数据联机分析处理系统，包括与多维分析服务器进行交互的展示层；对MDX语句进行解析，并使用解析后的语句执行查询计算的维度层；对聚集结果的缓存进行管理的星状层；负责接收星状层发出的SQL语句，在数据仓库中执行，并将结果返回的存储层。本发明系统的数据仓库通过分布式文件系统实现，而分布式文件系统集群由云计算平台统一管理，实现资源的负载均衡。系统通过功能上的多层分发，实现了对存储海量数据的分布式数据仓库的统一查询接口，以类似JDBC的查询方式，完成对于数据立方体多个维度的操作。
-
公开(公告)号：CN107395669A
公开(公告)日：2017-11-24
申请号：CN201710402900.2
申请日：2017-06-01
Applicant: 华南理工大学
IPC: H04L29/08
Abstract: 本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统，主要是采用分布式云集群的方式来处理数据采集，提高数据采集的处理性能和提供一定的可扩展性；构建分区关联的任务队列，不需要首先完成数据累计和落地，实时检测业务数据的变化，采用内存模型来高效存储增量收集的数据，减少本地临时文件保存时所占的空间，避免数据堆积和丢失，同时在基于内存模型的基础上，将数据块进行流化处理，直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能，同时利用基于内存的高效存储模型完成数据的收集和归类操作，为后续的实时数据分析提供数据基础，保证了实时数据采集可得到实时的反馈分析结果。
-
公开(公告)号：CN107329982A
公开(公告)日：2017-11-07
申请号：CN201710402942.6
申请日：2017-06-01
Applicant: 华南理工大学
CPC classification number: G06F9/5088 , G06F16/2219 , G06F16/24532
Abstract: 本发明公开了一种基于分布式列式存储的大数据并行计算方法及系统，主要是利用基于内存的NoSQL列式存储存放最近最常访问的数据，达到缓存优化的功能，实现数据的快速查询；采用分布式集群的架构，满足海量数据存储需求，实现数据存储容量动态伸缩；结合基于Spark的并行计算框架，实现业务层数据分析并行化作业，提高计算速度；运用图形图表引擎实现大屏滚动分析的实时数据可视化体验。本发明充分发挥了分布式云服务器的内存处理性能和并行计算的优势，克服了单一服务器和串行计算的性能瓶颈，避免了数据节点之间多余的数据传输，提高了系统实时响应速度，实现了快速的大数据分析。
-
Patent Agency Ranking
公开(公告)号：CN106230907B
公开(公告)日：2019-05-14
申请号：CN201610586634.9
申请日：2016-07-22
Applicant: 华南理工大学
IPC: H04L29/08
Abstract: 本发明公开了一种社保大数据可视化方法及系统，该技术方案主要是通过反馈式的交互机制来生成图形文件，提高交互实时性和友好性；同时通过预定义图表和地图模板、缓存机制、异步传输机制来提高可视化效率。另外，通过云服务器集群选举空闲的服务器处理客户端请求，确保客户端请求能被及时、高效处理。本发明充分发挥了可视化云服务器的处理性能，克服了单一服务器的性能瓶颈；同时通过缓存机制避免相同可视化结果的重复生成和多余的数据传输，提高从可视化生成到客户端展示的效率，从而提高数据可视化的效率。
-
公开(公告)号：CN107395669B
公开(公告)日：2020-04-07
申请号：CN201710402900.2
申请日：2017-06-01
Applicant: 华南理工大学
IPC: H04L29/08
Abstract: 本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统，主要是采用分布式云集群的方式来处理数据采集，提高数据采集的处理性能和提供一定的可扩展性；构建分区关联的任务队列，不需要首先完成数据累计和落地，实时检测业务数据的变化，采用内存模型来高效存储增量收集的数据，减少本地临时文件保存时所占的空间，避免数据堆积和丢失，同时在基于内存模型的基础上，将数据块进行流化处理，直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能，同时利用基于内存的高效存储模型完成数据的收集和归类操作，为后续的实时数据分析提供数据基础，保证了实时数据采集可得到实时的反馈分析结果。
-
公开(公告)号：CN106230907A
公开(公告)日：2016-12-14
申请号：CN201610586634.9
申请日：2016-07-22
Applicant: 华南理工大学
IPC: H04L29/08
CPC classification number: H04L67/10 , H04L67/06 , H04L67/2842 , H04L67/32
Abstract: 本发明公开了一种社保大数据可视化方法及系统，该技术方案主要是通过反馈式的交互机制来生成图形文件，提高交互实时性和友好性；同时通过预定义图表和地图模板、缓存机制、异步传输机制来提高可视化效率。另外，通过云服务器集群选举空闲的服务器处理客户端请求，确保客户端请求能被及时、高效处理。本发明充分发挥了可视化云服务器的处理性能，克服了单一服务器的性能瓶颈；同时通过缓存机制避免相同可视化结果的重复生成和多余的数据传输，提高从可视化生成到客户端展示的效率，从而提高数据可视化的效率。
-
公开(公告)号：CN107301206A
公开(公告)日：2017-10-27
申请号：CN201710402937.5
申请日：2017-06-01
Applicant: 华南理工大学
IPC: G06F17/30
CPC classification number: G06F16/24534 , G06F16/248 , G06F16/283
Abstract: 本发明公开了一种基于预运算的分布式OLAP分析方法及系统，主要是在分布式数据仓库基础上构建数据模型，根据数据模型定义数据立方体；对给定的数据立方体启动预运算任务，以并行计算的方式进行立方体预构建，将结果保存到分布式键值存储系统中；将多维分析操作经过一系列步骤转换为对数据立方体的key-value查询操作，从构建好的立方体中直接获取分析结果，并将结果以丰富多样的图表形式展现；同时利用NoSQL对OLAP查询操作进行缓存优化。本发明充分发挥了Hadoop平台强大的处理性能，进行数据立方体预构建，克服了传统方法每次查询都需要从原始数据中进行大量计算导致查询缓慢的问题，从而提高OLAP分析效率和系统性能。
-
公开(公告)号：CN107301205A
公开(公告)日：2017-10-27
申请号：CN201710402894.0
申请日：2017-06-01
Applicant: 华南理工大学
IPC: G06F17/30
CPC classification number: G06F16/182 , G06F16/2471
Abstract: 本发明公开了一种大数据分布式实时查询方法及系统，主要将实时查询处理流程定义成一个包含多个执行阶段的查询计划树，复杂度低的查询计划树在独立的线程中并行的执行；对复杂度高的查询计划树分配多个操作线程，并以分布式云服务器集群的形式并行的处理多个执行阶段；分布式实时查询系统对各服务器的查询结果集整合并返回最终结果，同时利用NOSQL对数据查询操作进行缓存优化。本发明充分利用了实时查询云服务器的处理性能，突破了单一服务器的性能瓶颈，同时避免了服务器与HDFS数据节点之间多余的数据访问，从而提高分布式实时查询的效率。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.018 seconds)
