公开(公告)号：CN107038071B

公开(公告)日：2020-06-09

申请号：CN201710385355.0

申请日：2017-05-26

Applicant: 重庆邮电大学

Inventor： 熊安萍 ,  段杭彪 ,  蒋溢 ,  祝清意 ,  蒋亚雄

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明涉及一种基于数据流预测的Storm任务伸缩调度算法，属于数据交换网络领域。通过监控模块获得用户提交的Topology任务的实时运行数据，求解在满足组件负载的情况下Topology中相连组件的并行度，然后迭代求出Topology中所有组件的并行度。利用时间序列模型来预测Topology要处理的数据量，并求得在该情况下Topology中开始组件spout的较优并行度，获得预测情况下的Topology中各组件的较优并行度，并进行调度。在调度中使用线上调度算法，最大限度减少结点间的网络通信并保证集群的负载均衡。本发明克服了现有对Topology中各组件间的关联性考虑的不足，弥补了不能快速高效地求解到用户提交Topology中各组件的较优并行度的不足，具有提前预测变化、提高吞吐量、降低处理时延的优点。

公开(公告)号：CN107818342A

公开(公告)日：2018-03-20

申请号：CN201711024378.5

申请日：2017-10-27

Applicant: 重庆邮电大学

Inventor： 熊安萍 ,  蒋亚雄 ,  祝清意 ,  段杭彪 ,  丁世旺

IPC: G06K9/62

CPC classification number: G06K9/6267

Abstract: 本发明涉及一种大数据环境下基于限定模糊规则的多分类系统及方法，属于大数据分类领域。该系统包括模糊产生器、模糊推理机、基础知识库和解模糊器；模糊产生器将输入论域U确定的点一一映射为U上的模糊集合；基础知识库由若干的模糊规则“如果-则”规则组成，若干模糊规则分为若干类，每一个类的模糊规则由数据规则和基本规则组成；模糊推理机在模糊逻辑原理的基础上，利用模糊规则将论域U上的模糊集合与输出论域V上的模糊集合对应起来；模糊消除器将V上的模糊集合一一映射为V上确定的点。本发明极大的提升了分类效率，同时通过对确定规则正反规则的补充，也减少了因为模糊操作带来的误差，也保证了分类准确率。

公开(公告)号：CN107038071A

公开(公告)日：2017-08-11

申请号：CN201710385355.0

申请日：2017-05-26

Applicant: 重庆邮电大学

Inventor： 熊安萍 ,  段杭彪 ,  蒋溢 ,  祝清意 ,  蒋亚雄

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明涉及一种基于数据流预测的Storm任务伸缩调度算法，属于数据交换网络领域。通过监控模块获得用户提交的Topology任务的实时运行数据，求解在满足组件负载的情况下Topology中相连组件的并行度，然后迭代求出Topology中所有组件的并行度。利用时间序列模型来预测Topology要处理的数据量，并求得在该情况下Topology中开始组件spout的较优并行度，获得预测情况下的Topology中各组件的较优并行度，并进行调度。在调度中使用线上调度算法，最大限度减少结点间的网络通信并保证集群的负载均衡。本发明克服了现有对Topology中各组件间的关联性考虑的不足，弥补了不能快速高效地求解到用户提交Topology中各组件的较优并行度的不足，具有提前预测变化、提高吞吐量、降低处理时延的优点。