-
公开(公告)号：CN105302638B
公开(公告)日：2018-11-20
申请号：CN201510740736.7
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。
-
公开(公告)号：CN105335479A
公开(公告)日：2016-02-17
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30404 , G06F17/30445 , G06F17/30592 , G06F17/30637
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN103198159B
公开(公告)日：2016-01-06
申请号：CN201310153332.9
申请日：2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法，其特点是：包括查询执行阶段：集群事务管理模块跟踪活动事务表，录制事务操作；集群为主数据节点生成事务重做日志；集群将事务重做日志文件发送给所有副本数据节点并管理节点状态；副本维护阶段：副本数据节点接收来自于主数据节点的事务重做日志文件；故障恢复阶段：数据库管理员将查找出故障节点对应的存档日志，将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题，弥补了二进制日志传输方式无法支持异构数据库的不足，实现了多副本之间的快速一致性维护，保证无共享集群的高可用性，同时能够支持集群数据库节点的异构化。
-
公开(公告)号：CN102033938B
公开(公告)日：2012-06-06
申请号：CN201010597139.0
申请日：2010-12-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明方法是基用一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布，这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射，从而在第一维实现数据的分布负载均衡，在第二维实现集群的动态扩展。本发明使用了二级映射方法，既保留了集群中常用的hash分发方法的数据分布负载均衡特点，又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性，保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比，本发明不仅不需停止应用业务，而且操作简单，每扩展一个节点的时间在秒级。
-
-
-
Search Results
24
records
(took 0.034 seconds)
