一种云环境下的深度学习训练资源配置预测方法

    公开(公告)号:CN111444026B

    公开(公告)日:2024-10-15

    申请号:CN202010313690.1

    申请日:2020-04-20

    Abstract: 本发明设计了一种云环境下深度学习训练资源参数配置方法,参数包含了批尺寸参数、资源供给量和迭代轮次数。该方法包括:采集模型训练过程中的每轮次性能指标;使用保序回归方法对批尺寸参数、资源供给量、迭代轮次数以及训练数据规模与训练耗时和训练精度之间的数学关系建立模型;依照云环境下深度学习模型训练成本及精度要求构建约束关系;使用最优搜索算法寻找合适的参数配置;最后按照参数配置进行模型训练。实验证明本发明方法可以有效减少深度学习模型训练时间成本并达到预设训练精度,最终满足训练要求。

    一种云环境下的深度学习训练资源配置预测方法

    公开(公告)号:CN111444026A

    公开(公告)日:2020-07-24

    申请号:CN202010313690.1

    申请日:2020-04-20

    Abstract: 本发明设计了一种云环境下深度学习训练资源参数配置方法,参数包含了批尺寸参数、资源供给量和迭代轮次数。该方法包括:采集模型训练过程中的每轮次性能指标;使用保序回归方法对批尺寸参数、资源供给量、迭代轮次数以及训练数据规模与训练耗时和训练精度之间的数学关系建立模型;依照云环境下深度学习模型训练成本及精度要求构建约束关系;使用最优搜索算法寻找合适的参数配置;最后按照参数配置进行模型训练。实验证明本发明方法可以有效减少深度学习模型训练时间成本并达到预设训练精度,最终满足训练要求。

    一种面向Spark时间窗口数据分析的缓存数据预取方法

    公开(公告)号:CN110287010A

    公开(公告)日:2019-09-27

    申请号:CN201910507343.X

    申请日:2019-06-12

    Abstract: 本发明公开了一种面向Spark时间窗口数据分析的缓存数据预取方法,该方法分为6个步骤:初始化、判断预取时机、计算预取数据规模、确定预取数据放置位置、判断是否结束预取和结束。本发明依据时间窗口数据处理需求,以时间窗口为序,分段将时间窗口所需处理的RDD数据读入Spark缓存空间,并将已处理的RDD数据移出缓存,从而保障在缓存空间有限的情况下,每一个时间窗口需要处理的RDD数据均被成功缓存于内存空间,提升应用的执行效率。

    基于物理驱动深度学习的近场波动数值模拟方法

    公开(公告)号:CN115392131A

    公开(公告)日:2022-11-25

    申请号:CN202211123343.8

    申请日:2022-09-15

    Abstract: 本发明涉及一种基于物理驱动深度学习的近场波动数值模拟方法,包括采样步骤、训练步骤、模拟步骤;在采样步骤中用Sobol序列算法实现时空样点采集,在训练步骤中,构建了人工神经网络模型及损失函数,优化了优化器模式,并在模拟步骤中采用训练后的人工神经网络预测任意分辨率下任意时空点的近场波动的波动方程解及解的各阶偏导。本发明具备无网格、精细化,波场侧边界全透射等优势,针对典型工况,训练形成的神经网络具有在不同初始条件的泛化能力,结合迁移学习,可高效提高网络的训练效率。

    一种面向收敛型图应用的GraphX数据缓存方法

    公开(公告)号:CN111309976B

    公开(公告)日:2021-06-25

    申请号:CN202010112523.0

    申请日:2020-02-24

    Abstract: 本发明公开了一种面向收敛型图应用的GraphX数据缓存方法,分为9个步骤:初始化、顶点计算与标识更新,活跃顶点信息收集、过滤时机判断、顶点属性同步、顶点活跃状态同步、过期数据过滤、判断迭代计算是否结束和结束。本发明针对图中边规模远大于顶点规模的特点,着眼于边数据的缓存优化,将应用运行过程中不再使用的边定义为过期数据,通过以顶点为中心的间接标识方法,标识应用运行过程中的过期数据。本发明设计基于活跃顶点规模变化趋势的数据过滤方法,当活跃顶点规模显著减小时,进行过期数据的过滤,降低数据过滤的性能开销,同时保障应用在内存配置受限的情况下,系统能将计算所需的图数据完整缓存于内存空间,提升应用的执行效率。

    一种面向收敛型图应用的GraphX数据缓存方法

    公开(公告)号:CN111309976A

    公开(公告)日:2020-06-19

    申请号:CN202010112523.0

    申请日:2020-02-24

    Abstract: 本发明公开了一种面向收敛型图应用的GraphX数据缓存方法,分为9个步骤:初始化、顶点计算与标识更新,活跃顶点信息收集、过滤时机判断、顶点属性同步、顶点活跃状态同步、过期数据过滤、判断迭代计算是否结束和结束。本发明针对图中边规模远大于顶点规模的特点,着眼于边数据的缓存优化,将应用运行过程中不再使用的边定义为过期数据,通过以顶点为中心的间接标识方法,标识应用运行过程中的过期数据。本发明设计基于活跃顶点规模变化趋势的数据过滤方法,当活跃顶点规模显著减小时,进行过期数据的过滤,降低数据过滤的性能开销,同时保障应用在内存配置受限的情况下,系统能将计算所需的图数据完整缓存于内存空间,提升应用的执行效率。

    一种基于周期性特征分析的在线负载资源预测方法

    公开(公告)号:CN110297715A

    公开(公告)日:2019-10-01

    申请号:CN201910592018.8

    申请日:2019-07-02

    Abstract: 本发明公开了一种基于周期性特征分析的在线负载资源预测方法,在线负载资源预测方法分为三个步骤,资源序列周期识别、子序列分类、在线负载资源预测方法构建。本方法针对在线负载在运行过程中资源使用量具有明显的周期性特征,收集在线负载资源序列样本,对资源序列进行周期识别以及资源序列划分;其次,对于划分得到的子序列进行相似度计算并分类;然后,采用加权方式计算在线负载资源需求进行预测,本方法实现了基于周期性的在线负载资源预测。

    一种基于周期性特征分析的在线负载资源预测方法

    公开(公告)号:CN110297715B

    公开(公告)日:2021-09-14

    申请号:CN201910592018.8

    申请日:2019-07-02

    Abstract: 本发明公开了一种基于周期性特征分析的在线负载资源预测方法,在线负载资源预测方法分为三个步骤,资源序列周期识别、子序列分类、在线负载资源预测方法构建。本方法针对在线负载在运行过程中资源使用量具有明显的周期性特征,收集在线负载资源序列样本,对资源序列进行周期识别以及资源序列划分;其次,对于划分得到的子序列进行相似度计算并分类;然后,采用加权方式计算在线负载资源需求进行预测,本方法实现了基于周期性的在线负载资源预测。

    一种面向Spark时间窗口数据分析的缓存数据预取方法

    公开(公告)号:CN110287010B

    公开(公告)日:2021-09-14

    申请号:CN201910507343.X

    申请日:2019-06-12

    Abstract: 本发明公开了一种面向Spark时间窗口数据分析的缓存数据预取方法,该方法分为6个步骤:初始化、判断预取时机、计算预取数据规模、确定预取数据放置位置、判断是否结束预取和结束。本发明依据时间窗口数据处理需求,以时间窗口为序,分段将时间窗口所需处理的RDD数据读入Spark缓存空间,并将已处理的RDD数据移出缓存,从而保障在缓存空间有限的情况下,每一个时间窗口需要处理的RDD数据均被成功缓存于内存空间,提升应用的执行效率。

Patent Agency Ranking