-
公开(公告)号：CN108241539B
公开(公告)日：2021-05-07
申请号：CN201810004955.2
申请日：2018-01-03
Applicant: 百度在线网络技术(北京)有限公司
Abstract: 本发明提出一种基于分布式系统的交互式大数据查询方法、装置、存储介质及终端设备，所述分布式系统包括执行name node进程的hadoop hdfs调度服务器、执行master进程的spark调度服务器、执行job tracker进程的mapreduce调度服务器以及多个节点服务器，其中，每个节点服务器均部署有执行hdfs datanode进程、spark worker进程和mapreduce node进程。以及原始数据经过mapreduce的处理导入到hadoop hdfs中并进行格式优化，查询任务提交到spark上，会以最大的并发度执行，直接读取导入的数据进行本地化计算，能够极大的提高大数据查询的效率。
-
公开(公告)号：CN108241539A
公开(公告)日：2018-07-03
申请号：CN201810004955.2
申请日：2018-01-03
Applicant: 百度在线网络技术(北京)有限公司
Abstract: 本发明提出一种基于分布式系统的交互式大数据查询方法、装置、存储介质及终端设备，所述分布式系统包括执行name node进程的hadoop hdfs调度服务器、执行master进程的spark调度服务器、执行job tracker进程的mapreduce调度服务器以及多个节点服务器，其中，每个节点服务器均部署有执行hdfs datanode进程、spark worker进程和mapreduce node进程。以及原始数据经过mapreduce的处理导入到hadoop hdfs中并进行格式优化，查询任务提交到spark上，会以最大的并发度执行，直接读取导入的数据进行本地化计算，能够极大的提高大数据查询的效率。
-
公开(公告)号：CN108133000B
公开(公告)日：2021-05-04
申请号：CN201711396330.7
申请日：2017-12-21
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F16/907 , G06F16/901
Abstract: 本发明提出一种元数据存储方法、装置和服务器，所述方法包括：获取待存储元数据；判断所获取的待存储元数据的类型；根据所述待存储元数据的类型，利用不同的存储格式对所述待存储元数据进行处理，得到新的元数据；其中所述不同的存储格式均包含关于所述待存储元数据的至少一种相同的信息种类；和将所述新的元数据存储在预设元数据存储系统中。本发明实施例中，通过根据待存储元数据的类型来对不同类型的元数据进行处理，进而将待存储元数据以统一的格式进行存储，使得在使用查询引擎查找元数据时，能够通过一个统一的接口进行查询，方便了用户使用。
-
公开(公告)号：CN108133000A
公开(公告)日：2018-06-08
申请号：CN201711396330.7
申请日：2017-12-21
Applicant: 百度在线网络技术(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提出一种元数据存储方法、装置和服务器，所述方法包括：获取待存储元数据；判断所获取的待存储元数据的类型；根据所述待存储元数据的类型，利用不同的存储格式对所述待存储元数据进行处理，得到新的元数据；其中所述不同的存储格式均包含关于所述待存储元数据的至少一种相同的信息种类；和将所述新的元数据存储在预设元数据存储系统中。本发明实施例中，通过根据待存储元数据的类型来对不同类型的元数据进行处理，进而将待存储元数据以统一的格式进行存储，使得在使用查询引擎查找元数据时，能够通过一个统一的接口进行查询，方便了用户使用。
-
-
-
Search Results
4
records
(took 0.027 seconds)
