一种面向Spark的批处理应用执行时间预测模型构建方法

    公开(公告)号:CN111309577A

    公开(公告)日:2020-06-19

    申请号:CN202010102494.X

    申请日:2020-02-19

    Abstract: 一种面向Spark的批处理应用执行时间预测模型构建方法属于分布式计算领域。本发明提出了一种考虑了不同应用特征的Spark批处理应用执行时间预测模型,首先根据Spark系统中批处理应用执行原理选取分类方法影响因素,从中筛选出强相关指标并构建批处理应用执行时间分类方法,然后在每一类批处理应用中充分分析了影响应用执行时间的指标并利用主成分分析法(PCA)和梯度提升决策树算法(GBDT)对应用执行时间进行预测,最后当即席应用到达之后,先判断其所属应用类别继而使用已构建的预测模型来预测其执行时间。

    一种批量流式计算系统参数动态配置方法

    公开(公告)号:CN109828836A

    公开(公告)日:2019-05-31

    申请号:CN201910050828.0

    申请日:2019-01-20

    Abstract: 本发明公开了一种批量流式计算系统参数动态配置方法,包括:样本收集、模型构建、最优方案生成、在线匹配和参数优化;其中,样本收集、模型构建和最优方案生成在后台阶段完成;在线匹配和参数优化于在线阶段完成。本方法根据每种参数与数据处理响应延迟的皮尔森相关显著性大小,选取对应用性能影响较大的核心参数集;在参数约简的前提下,选取支持向量回归方法构建应用性能模型,该模型可量化评估给定数据到达速率和相关参数配置下,数据处理的响应延迟性能;在性能建模的基础上,选取启发式遗传算法,在较大的解空间中快速搜索优化配置方案。

    一种基于栅格路网的应急路径规划架构和方法

    公开(公告)号:CN112797997A

    公开(公告)日:2021-05-14

    申请号:CN202011509992.2

    申请日:2020-12-19

    Abstract: 本发明公开了一种基于栅格路网的应急路径规划架构和方法,该架构分为三部分,由下向上分别为:数据建模层、路网预处理层、路径规划层。本发明将已有相关路网数据和车辆的轨迹数据进行建模,对原始的路网进行栅格化并通过其栅格内道路的通行能力进行赋值,构建具有时空特性的路网结构,通过道路之间的链接对每个栅格进行排序,最终使得处在应急区域的车辆可通过行驶最大通行能力的道路进行有效的疏散。使得车辆在最短的时间内行驶出应急区域,这样不仅能够使得应急区域的车辆快速的撤离到安全的区域,并且有利于救援车辆更快的驶进应急区域进行有效的救援。

    一种批量流式计算系统参数动态配置方法

    公开(公告)号:CN109828836B

    公开(公告)日:2021-04-30

    申请号:CN201910050828.0

    申请日:2019-01-20

    Abstract: 本发明公开了一种批量流式计算系统参数动态配置方法,包括:样本收集、模型构建、最优方案生成、在线匹配和参数优化;其中,样本收集、模型构建和最优方案生成在后台阶段完成;在线匹配和参数优化于在线阶段完成。本方法根据每种参数与数据处理响应延迟的皮尔森相关显著性大小,选取对应用性能影响较大的核心参数集;在参数约简的前提下,选取支持向量回归方法构建应用性能模型,该模型可量化评估给定数据到达速率和相关参数配置下,数据处理的响应延迟性能;在性能建模的基础上,选取启发式遗传算法,在较大的解空间中快速搜索优化配置方案。

    一种面向Spark的批处理应用执行时间预测模型构建方法

    公开(公告)号:CN111309577B

    公开(公告)日:2024-04-23

    申请号:CN202010102494.X

    申请日:2020-02-19

    Abstract: 一种面向Spark的批处理应用执行时间预测模型构建方法属于分布式计算领域。本发明提出了一种考虑了不同应用特征的Spark批处理应用执行时间预测模型,首先根据Spark系统中批处理应用执行原理选取分类方法影响因素,从中筛选出强相关指标并构建批处理应用执行时间分类方法,然后在每一类批处理应用中充分分析了影响应用执行时间的指标并利用主成分分析法(PCA)和梯度提升决策树算法(GBDT)对应用执行时间进行预测,最后当即席应用到达之后,先判断其所属应用类别继而使用已构建的预测模型来预测其执行时间。

    一种基于栅格路网的应急路径规划架构和方法

    公开(公告)号:CN112797997B

    公开(公告)日:2022-12-16

    申请号:CN202011509992.2

    申请日:2020-12-19

    Abstract: 本发明公开了一种基于栅格路网的应急路径规划架构和方法,该架构分为三部分,由下向上分别为:数据建模层、路网预处理层、路径规划层。本发明将已有相关路网数据和车辆的轨迹数据进行建模,对原始的路网进行栅格化并通过其栅格内道路的通行能力进行赋值,构建具有时空特性的路网结构,通过道路之间的链接对每个栅格进行排序,最终使得处在应急区域的车辆可通过行驶最大通行能力的道路进行有效的疏散。使得车辆在最短的时间内行驶出应急区域,这样不仅能够使得应急区域的车辆快速的撤离到安全的区域,并且有利于救援车辆更快的驶进应急区域进行有效的救援。

    一种面向分布式机器学习的数据划分方法

    公开(公告)号:CN112732444A

    公开(公告)日:2021-04-30

    申请号:CN202110035224.6

    申请日:2021-01-12

    Inventor: 伍佳名

    Abstract: 本发明公开了一种分布式机器学习数据划分方法,分为四个步骤:初始化、神经网络训练、状态选取、数据划分。本发明首先进行了验证实验,观察到每个任务使用的资源量不同时,在BSP模式下,整个系统一轮完成时间总是取决于资源使用量最少的那个任务。这无疑浪费了大量的资源,严重拖慢整个系统的完成时间;然后根据量化分析结果,定义了问题模型和优化目标,即在保证分布式机器学习模型训练精度值的前提下,提高整个分布式机器学习模型训练作业的计算效率;最后本发明提出一种基于强化学习的分布式机器学习数据划分方法,并设计了一个双目标神经网络,与现在有的传统数据划分策略相比发明的数据划分方法使整个分布式机器学习模型训练的每轮计算效率显著提高,对加快分布式机器学习执行速度有较强的指导意义。

Patent Agency Ranking