一种基于负载预测的Hadoop计算任务推测执行方法

    公开(公告)号:CN110221909B

    公开(公告)日:2023-01-17

    申请号:CN201910510535.6

    申请日:2019-06-13

    Applicant: 东北大学

    Abstract: 本发明提出一种基于负载预测的Hadoop计算任务推测执行方法,包括:资源管理器对备份任务数自适应调整,得到最大备份任务数;预测执行任务完成时间;将最大备份任务数与APPmaster设置的备份任务数比较,取最小值作为备份任务数阈值;判断备份任务数是否小于等于备份任务数阈值;判断任务数是否小于总任务数;预测备份任务完成时间;判断备份任务完成时间和执行任务完成时间大小,确定是否开启备份;本发明保证了当集群计算资源紧张的情况下,备份任务的开启不会对其他作业产生影响;执行任务的完成时间预测算法,有效避免了迟滞任务的误判导致计算资源浪费;备份任务完成时间预测算法,节约计算节点的计算资源,减少作业的完成时间,提高了集群的整体性能。

    一种基于AdaBoost-Elman的虚拟机软件老化预测方法

    公开(公告)号:CN110083518B

    公开(公告)日:2021-11-16

    申请号:CN201910354685.2

    申请日:2019-04-29

    Applicant: 东北大学

    Abstract: 本发明提供一种基于AdaBoost‑Elman的虚拟机软件老化预测方法,涉及云计算技术领域。该方法首先设定评估虚拟机软件老化程度的等级,并训练虚拟机的软件老化指标预测模型和未老化虚拟机参照预测模型;然后将业务并发量预测值和性能数据输入到离线过程训练的虚拟机的软件老化指标预测模型和未老化虚拟机参照预测模型中,输出虚拟机的软件老化指标预测结果和未老化虚拟机的参照预测结果;最后根据虚拟机的软件老化指标预测结果和未老化虚拟机的参照预测结果来评估虚拟机的软件老化趋势。本发明方法能够预测出当前工作虚拟机的软件老化指标,并与未老化的虚拟机进行对比,从而得到下一段时间虚拟机的软件老化程度,提前采取防范措施。

    面向季节型非平稳并发量的平均响应时间评估方法

    公开(公告)号:CN110413657A

    公开(公告)日:2019-11-05

    申请号:CN201910624505.8

    申请日:2019-07-11

    Applicant: 东北大学

    Abstract: 本发明提供一种面向季节型非平稳并发量的平均响应时间评估方法,涉及云计算技术领域。该方法首先基于自相关系数法判定云服务系统中的请求并发量中的季节型非平稳并发量;然后建立基于RNN-LSTM神经网络的季节型非平稳并发量预测模型,并进行季节型非平稳并发量预测;建立基于RBF的云服务系统平均响应时间预测模型,将预测的用户季节型非平稳并发量、CPU利用率、内存利用率这些影响云服务平均响应时间的资源状态信息预处理完之后作为输入,输出为云服务系统的平均响应时间大小。本发明方法克服了传统的负载均衡策略的不足,提高了季节型非平稳并发量的预测精度,能及时对服务性能作出评估响应,使云计算系统能更好的为用户提供服务。

    基于特征选择的季节型非平稳并发量能耗分析方法

    公开(公告)号:CN110348122A

    公开(公告)日:2019-10-18

    申请号:CN201910624856.9

    申请日:2019-07-11

    Applicant: 东北大学

    Abstract: 本发明提供一种基于特征选择的季节型非平稳并发量能耗分析方法,涉及云计算技术领域。该方法针对Web应用特性建立能耗模型。首先,基于负载检测工具提取出相关多维特征,并使用工具测出对应能耗数据;然后,对提取的数据进行预处理,提高数据质量与建模效率;然后,采用效率高的过滤型特征选择算法与性能好的装箱式特征选择算法进行相关特征的选择;最后,对筛选完的多维特征以及能耗数据进行回归分析,建立能耗模型。本发明方法同时考虑多种对云服务中心整体能耗有贡献的资源,提取多种数据特征,并对提取的数据进行预处理,提高了数据质量与建模效率,也使能耗模型更加精确。

    基于时空采样的实例级别特征聚合方法

    公开(公告)号:CN109993772A

    公开(公告)日:2019-07-09

    申请号:CN201910230234.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种基于时空采样的实例级别特征聚合方法,涉及计算机视觉技术领域。基于时空采样的实例级别特征聚合方法,首先基于光流进行实例运动位移预测,得到相邻帧的候选框位置;并基于运动位移进行实例级别的特征采样,得到候选框在当前帧及其前后相邻两帧的采样特征;然后基于光流质量和外观质量进行实例级权重计算,提取候选框k对应的位置敏感的实例级权重;最后将当前帧i与其相邻帧i‑t和i+t的实例级别特征通过位置敏感的实例级权重进行聚合,得到聚合后的实例级别的特征。本发明提供的基于时空采样的实例级别特征聚合方法,能有效的利用相邻帧之间的运动信息,进而提升运动模糊、变形等复杂场景下的视频目标检测的精度。

    基于时空采样的实例级别特征聚合方法

    公开(公告)号:CN109993772B

    公开(公告)日:2022-12-20

    申请号:CN201910230234.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种基于时空采样的实例级别特征聚合方法,涉及计算机视觉技术领域。基于时空采样的实例级别特征聚合方法,首先基于光流进行实例运动位移预测,得到相邻帧的候选框位置;并基于运动位移进行实例级别的特征采样,得到候选框在当前帧及其前后相邻两帧的采样特征;然后基于光流质量和外观质量进行实例级权重计算,提取候选框k对应的位置敏感的实例级权重;最后将当前帧i与其相邻帧i‑t和i+t的实例级别特征通过位置敏感的实例级权重进行聚合,得到聚合后的实例级别的特征。本发明提供的基于时空采样的实例级别特征聚合方法,能有效的利用相邻帧之间的运动信息,进而提升运动模糊、变形等复杂场景下的视频目标检测的精度。

    一种面向视频目标检测的光流多层帧特征传播及聚合方法

    公开(公告)号:CN109993096B

    公开(公告)日:2022-12-20

    申请号:CN201910230235.2

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的光流多层帧特征传播及聚合方法,涉及计算机视觉技术领域。该方法首先通过特征网络提取相邻帧的多层特征、光流网络提取光流,然后利用光流将当前帧的前一帧和当前帧的后一帧的多层帧级别特征传播到当前帧,步长不同的层需要对光流做上采样或下采样,获取多层传播特征;然后逐层依次聚合每层的传播特征,最后生成多层聚合的帧级别特征用于最后的视频目标检测。本发明提供的面向视频目标检测的光流多层帧特征传播及聚合方法,使得输出的帧级别聚合特征兼顾了浅层网络分辨率高和深层网络高维语义特征的优点,能提升检测性能,而且多层特征聚合的方法对小目标的检测性能有所提升。

    一种面向视频目标检测的帧级别特征聚合方法

    公开(公告)号:CN109993095B

    公开(公告)日:2022-12-20

    申请号:CN201910230227.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的帧级别特征聚合方法,涉及计算机视觉技术领域。本发明提供的面向视频目标检测的帧级别特征聚合方法,首先通过特征网络从单帧图像中提取深层的特征;然后使用光流网络FlowNet提取帧间的光流;并基于光流将相邻帧的帧级别特征对齐到当前帧,实现帧级别的特征传播;最后通过映射网络和权重放缩网络计算放缩余弦相似性权重,并使用放缩余弦相似性权重聚合多帧特征,生成聚合后的特征;本发明提供的面向视频目标检测的帧级别特征聚合方法,使得权重分配更加合理,将聚合后的特征输入到视频目标检测网络中,能够使在运动模糊、像素低、镜头变焦、遮挡等复杂场景下的视频检测具有较好的检测效果,具有鲁棒性。

    面向季节型非平稳并发量的P-E权衡的VM迁移方法

    公开(公告)号:CN110362383B

    公开(公告)日:2022-06-24

    申请号:CN201910627610.7

    申请日:2019-07-12

    Applicant: 东北大学

    Abstract: 本发明提供一种面向季节型非平稳并发量的P‑E权衡的VM迁移方法,涉及云计算技术领域。该方法包括VM静态部署和VM动态迁移两部分;首先,根据物理服务器提供的以及各个VM需要的内存与CPU资源进行VM的静态部署,该过程在满足客户需求的情况下,将VM部署到物理主机上,同时,尽量减少物理主机的数量,达到降低能耗的目的。VM静态部署之后,采用VM动态迁移策略完成VM的迁移。包括两部分,第一部分使用RBF算法对各VM的平均响应时间进行预测,根据设置的阈值选择需要迁移的VM;第二部分是目标服务器的选择,通过更新的资源需求矩阵选择目标服务器,完成一个阶段的VM的迁移;第一部分与第二部分循环进行,完成整个的VM迁移过程。

Patent Agency Ranking