-
公开(公告)号:CN111629059A
公开(公告)日:2020-09-04
申请号:CN202010463076.3
申请日:2020-05-27
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种集群通信方法、系统、设备及计算机可读存储介质,应用于目标k8s集群对应的代理端,基于目标k8s集群的身份信息主动建立与k8s管理平台间的目标长连接;基于目标长连接接收k8s管理平台发送的目标信息;传输目标信息至目标k8s集群。本申请中,代理端主动建立与k8s管理平台间的目标长连接,并且基于目标长连接接收k8s管理平台发送的目标信息,之后代理端将目标信息传输给目标k8s集群,使得k8s管理平台无需对目标k8s集群进行ip寻址,从而无需为目标k8s集群分配ip地址,可以减轻k8s管理平台的ip消耗。本申请提供的一种集群通信系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN104346447A
公开(公告)日:2015-02-11
申请号:CN201410585204.6
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30584
Abstract: 本发明提供一种面向混合型大数据处理系统的分区连接方法,本发明提出的面向混合型大数据处理系统的分区连接方法,能够满足行业大数据针对不同处理系统的交互分析业务应用需求,并且通过分区、coprocessr和mapjoin,大大提高了此类分析的性能,并可以进一步应用于基于join的分组、统计、排序等交互分析。通过确定Hive查询分区,减少参与传输、缓存和join过程的数据量,并且充分利用分布式架构优势,使所有节点的缓存过程并行执行,通过在各节点缓存数据,能够加快join执行效率,并且HBase表的数据量和节点数量能够按需扩展。
-
公开(公告)号:CN111629059B
公开(公告)日:2022-12-16
申请号:CN202010463076.3
申请日:2020-05-27
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L67/141 , H04L67/56 , H04L67/10 , H04L9/40 , H04L41/046 , H04L41/28 , H04L41/0253 , G06F9/455 , H04L67/02 , H04L69/16
Abstract: 本申请公开了一种集群通信方法、系统、设备及计算机可读存储介质,应用于目标k8s集群对应的代理端,基于目标k8s集群的身份信息主动建立与k8s管理平台间的目标长连接;基于目标长连接接收k8s管理平台发送的目标信息;传输目标信息至目标k8s集群。本申请中,代理端主动建立与k8s管理平台间的目标长连接,并且基于目标长连接接收k8s管理平台发送的目标信息,之后代理端将目标信息传输给目标k8s集群,使得k8s管理平台无需对目标k8s集群进行ip寻址,从而无需为目标k8s集群分配ip地址,可以减轻k8s管理平台的ip消耗。本申请提供的一种集群通信系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN104348913B
公开(公告)日:2016-08-24
申请号:CN201410585403.7
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L29/08
Abstract: 本发明提供一种紧耦合可扩展的大数据交互方法,通过构建分布式紧耦合的客户端驱动层,在保证一致性的基础上,能够避免客户端或服务端的单点失效,并减少了客户端之间的通信开销,使系统在以元数据查询类为主的场景下具有接近线性的可扩展性,满足大数据的在线高并发交互分析需求。上述方法可以保证数据的读写一致性,虽然单纯读操作会出现延迟现象,但可以保证读取版本的顺序一致。在需要读取最新版本情况下,可以主动执行一次数据同步过程。此外,该方法具备很好的容错性,只要失效节点数小于半数,其他节点读写数据不受影响,当节点回复后,只需一次读写操作通过步骤即可同步。
-
公开(公告)号:CN106210124B
公开(公告)日:2019-03-05
申请号:CN201610626863.9
申请日:2016-08-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。
-
公开(公告)号:CN104391957A
公开(公告)日:2015-03-04
申请号:CN201410710850.0
申请日:2014-12-01
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30395 , G06F17/30315 , G06F17/30466
Abstract: 本发明公开了一种针对混合型大数据处理系统的数据交互分析方法,属于大数据分析技术领域,混合型大数据处理系统是基于HBase数据库及基于内存计算引擎的Hive系统构建,交互查询sql语句由客户端发出,包括针对Hive表和HBase表的join操作,其特征在于采用bucketjoin方法进行数据交互,bucketjoin方法包括数据准备过程和运行时执行过程。本发明通过分桶、coprocessr和mapjoin的方式,大大提高了跨Hive和HBase系统的关联分析性能,能够满足行业大数据针对混合处理系统的交互分析业务应用需求。
-
公开(公告)号:CN106210124A
公开(公告)日:2016-12-07
申请号:CN201610626863.9
申请日:2016-08-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/1097 , H04L67/28 , H04L67/2838
Abstract: 本发明公开了一种统一的云数据中心监控系统,该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比,可以让运维人员在一个界面上进行全部资源的监控管理和配置,可以让开发人员只需少量的改动即可引入新的监控组件,可以灵活进行分布式部署和扩展,可以整合多类资源进行高级分析和报表生成,具有很高的实用价值。
-
公开(公告)号:CN104407921A
公开(公告)日:2015-03-11
申请号:CN201410819147.3
申请日:2014-12-25
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/46
Abstract: 本发明公开了一种基于时间的yarn任务资源动态调度方法,包括以下步骤:设计yarn队列,根据任务特点,设计多个队列,每个队列对应一类任务,队列的数量动态增加,同时同一层级所有队列的资源分配比例之和是100%;编写定时刷新队列的脚本,根据时间变化和业务需求,定时调用yarn控制台命令,刷新yarn任务队列的配置参数;提交任务到指定队列,提交任务到yarn框架上时,指定任务提交到哪个队列上,从而保证各个任务在指定队列上运行。该一种基于时间的yarn任务资源动态调度方法与现有技术相比,满足在不同时间负载变化大的任务的资源需要,达到充分利用系统资源、保证关键任务的效果,实用性强。
-
公开(公告)号:CN104348913A
公开(公告)日:2015-02-11
申请号:CN201410585403.7
申请日:2014-10-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L29/08
CPC classification number: H04L29/08 , H04L67/10 , H04L67/1095
Abstract: 本发明提供一种紧耦合可扩展的大数据交互方法,通过构建分布式紧耦合的客户端驱动层,在保证一致性的基础上,能够避免客户端或服务端的单点失效,并减少了客户端之间的通信开销,使系统在以元数据查询类为主的场景下具有接近线性的可扩展性,满足大数据的在线高并发交互分析需求。上述方法可以保证数据的读写一致性,虽然单纯读操作会出现延迟现象,但可以保证读取版本的顺序一致。在需要读取最新版本情况下,可以主动执行一次数据同步过程。此外,该方法具备很好的容错性,只要失效节点数小于半数,其他节点读写数据不受影响,当节点回复后,只需一次读写操作通过步骤即可同步。
-
-
-
-
-
-
-
-