基于系统负载的MPP集群任务调度方法

    公开(公告)号:CN105302638A

    公开(公告)日:2016-02-03

    申请号:CN201510740736.7

    申请日:2015-11-04

    Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。

    基于遗传算法的多阶段神经网络模型训练方法

    公开(公告)号:CN105303252A

    公开(公告)日:2016-02-03

    申请号:CN201510657269.1

    申请日:2015-10-12

    Abstract: 本发明涉及一种基于遗传算法的多阶段神经网络模型训练方法,其技术特点是包括以下步骤:对数据进行预处理以消除字段的量纲影响;根据输入层、隐含层、输出层节点数,构建多输入层网络结构;采用遗传算法训练初始权重和阈值;利用迭代算法更新权重;根据迭代次数及模型误差判断是否满足模型终止条件:如果满足,则模型结束,否则重新更新权重。本发明针对过程控制中参数分阶段影响输出的问题,构建一个多阶段神经网络结构,根据遗传算法具有全局搜索的特点,采用其为网络结构选择一组较合理的初始权重,从而尽可能地防止网络训练进行局部极小点,解决了只有一个输入层的神经网络结构无法解决工程控制中具有前后顺序的参数影响产品加工的问题。

    基于系统负载的MPP集群任务调度方法

    公开(公告)号:CN105302638B

    公开(公告)日:2018-11-20

    申请号:CN201510740736.7

    申请日:2015-11-04

    Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。

    一种基于SQL的文本数据统计实现方法

    公开(公告)号:CN105335479B

    公开(公告)日:2018-11-23

    申请号:CN201510657159.5

    申请日:2015-10-12

    Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法,其技术特点是:对输入SQL语法进行解析;在结构化数据仓库中建立和子查询投影结构一致的临时表;识别全文索引引擎数据分布规则;将基于SQL的简单子查询翻译为全文索引引擎语法,并在全文索引引擎中执行;获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中;完成查询结果导入过程,向数据仓库下发重写后的基于临时表SQL查询语句,并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点,实现对海量文本数据的基于通用SQL语言的统计分析方法,解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题,大大提高了文本数据统计分析的易用性。

    基于数据压缩的支撑向量机建模方法

    公开(公告)号:CN105373583A

    公开(公告)日:2016-03-02

    申请号:CN201510657157.6

    申请日:2015-10-12

    CPC classification number: G06F16/2462 G06K9/6269

    Abstract: 本发明涉及一种基于数据压缩的支撑向量机建模方法,其技术特点是包括:采用等距抽样方法对建模数据进行抽样;对建模数据进行压缩;对聚类特征树的叶子节点下的每一簇数据,计算其边界,取最有可能成为支撑向量的边界点作为支撑向量机的建模数据;建立支撑向量机模型:根据建模数据利用支撑向量机方法,建立支撑向量机模型。本发明采用预抽样策略、数据压缩技术、增量抽样策略等,在尽量不降低算法准确率的情况下,大幅降低支撑向量机建模样本数,从而大幅提高支撑向量机建模速度,降低内存消耗,从而使得支撑向量机技术能够在大数据分析场景中应用,弥补大数据分析中神经网络、贝叶斯等方法预测准确率较低的缺陷。

Patent Agency Ranking