一种混部数据中心在线服务性能干扰量化评估方法

    公开(公告)号:CN120086104A

    公开(公告)日:2025-06-03

    申请号:CN202510141902.5

    申请日:2025-02-08

    Abstract: 本发明公开了一种混部数据中心在线服务性能干扰量化评估方法,分为六个步骤:指标选取、指标采集、指标熵计算、指标降维、特征赋权、系统熵计算。在数据中心中,将主要负载类型——在线服务与离线批处理作业混合部署于相同物理资源上,通过有效利用在线服务动态资源使用过程中产生的资源碎片,成为提升数据中心资源利用率的关键策略。然而,负载混部导致资源竞争,带来在线服务性能干扰的新问题。本发明针对数据中心第三方即时性在线服务与内部规律运行的批处理作业共存,在无法获得多样化在线服务的应用层性能数据的前提下,通过构建微体系结构级干扰特征指标,在不依赖详尽应用层数据的情况下,有效评估混部模式下在线服务的性能干扰问题。

    一种面向数据中心长时间运行应用的调度方法

    公开(公告)号:CN120085982A

    公开(公告)日:2025-06-03

    申请号:CN202510141901.0

    申请日:2025-02-08

    Abstract: 本发明公开了一种面向数据中心长时间运行应用的调度方法,分为三个步骤:数据监控、模式识别和LRA实例调度。本发明先分析日志数据以确定时间序列的长度,并基于此生成模拟时间序列数据。随后,利用谱聚类对模拟数据进行降维,提取主要的资源使用变化模式集合。对于新增实例,从日志中筛选出同一服务的历史实例,将其资源使用序列切分为与模拟时间序列长度一致的时间段并进行标准化处理。接着,通过变化模式识别确定当前待部署实例的资源使用变化模式。最后,结合实例的资源需求、变化模式以及环境中的相关信息,利用部署代理进行最优部署。本发明能有效分析日志数据,识别资源使用模式,并实现智能化的实例部署,提升系统的整体性能和可靠性。

    一种面向依赖交易的区块链交易打包方法

    公开(公告)号:CN116016235B

    公开(公告)日:2024-11-22

    申请号:CN202310021189.1

    申请日:2023-01-06

    Abstract: 本发明提出了一种面向依赖交易的交易打包方法。首先,针对依赖交易的特点,对依赖交易进行相关定义,并在该定义的基础上提出了一个基于Goodput的兼顾系统吞吐量与用户服务质量的指标,并以最大化Goodput指标为目的进行问题建模;之后,针对依赖交易场景下用户服务质量问题,本发明提出了基于Jaya的交易打包方法。该方法对交易读写冲突进行优化的同时,得到一个最大化Goodput指标的打包结果,为了保证方法的收敛性和结果的最优性,本发明对方法进行了优化。最后,针对FIFO策略存在的交易分配区块过于分散的问题,本发明将同一用户的所有子交易聚合在同一区块处理,并设计了一个基于贪心方法的分配策略。

    一种基于日志的数据中心批处理任务负载生成方法

    公开(公告)号:CN118260072A

    公开(公告)日:2024-06-28

    申请号:CN202410308663.3

    申请日:2024-03-19

    Abstract: 本发明涉及一种基于日志的数据中心批处理任务负载生成方法,包括初始化、批处理任务负载资源使用序列的还原、批处理任务负载基本块的构建、批处理任务负载的提交执行。该方法根据日志中节点层面的粗粒度时序资源使用信息(采样时间间隔较长)、任务层面的任务实例统计量资源使用信息(CPU、内存使用率均值和峰值)及任务实例的开始时间与结束时间,以上述信息为约束使用启发式算法进行每一个批处理任务负载资源使用序列(内存、CPU序列)的还原;构建批处理任务负载基本块,产生任意序列所对应的波动形式的内存、CPU负载;将负载基本块以批处理任务负载资源使用序列为参数、按照日志记录的提交时间提交至节点进行负载的实际运行与测试。

    一种面向收敛型图应用的GraphX数据缓存方法

    公开(公告)号:CN111309976B

    公开(公告)日:2021-06-25

    申请号:CN202010112523.0

    申请日:2020-02-24

    Abstract: 本发明公开了一种面向收敛型图应用的GraphX数据缓存方法,分为9个步骤:初始化、顶点计算与标识更新,活跃顶点信息收集、过滤时机判断、顶点属性同步、顶点活跃状态同步、过期数据过滤、判断迭代计算是否结束和结束。本发明针对图中边规模远大于顶点规模的特点,着眼于边数据的缓存优化,将应用运行过程中不再使用的边定义为过期数据,通过以顶点为中心的间接标识方法,标识应用运行过程中的过期数据。本发明设计基于活跃顶点规模变化趋势的数据过滤方法,当活跃顶点规模显著减小时,进行过期数据的过滤,降低数据过滤的性能开销,同时保障应用在内存配置受限的情况下,系统能将计算所需的图数据完整缓存于内存空间,提升应用的执行效率。

    一种批量流式计算系统参数动态配置方法

    公开(公告)号:CN109828836B

    公开(公告)日:2021-04-30

    申请号:CN201910050828.0

    申请日:2019-01-20

    Abstract: 本发明公开了一种批量流式计算系统参数动态配置方法,包括:样本收集、模型构建、最优方案生成、在线匹配和参数优化;其中,样本收集、模型构建和最优方案生成在后台阶段完成;在线匹配和参数优化于在线阶段完成。本方法根据每种参数与数据处理响应延迟的皮尔森相关显著性大小,选取对应用性能影响较大的核心参数集;在参数约简的前提下,选取支持向量回归方法构建应用性能模型,该模型可量化评估给定数据到达速率和相关参数配置下,数据处理的响应延迟性能;在性能建模的基础上,选取启发式遗传算法,在较大的解空间中快速搜索优化配置方案。

    一种面向收敛型图应用的GraphX数据缓存方法

    公开(公告)号:CN111309976A

    公开(公告)日:2020-06-19

    申请号:CN202010112523.0

    申请日:2020-02-24

    Abstract: 本发明公开了一种面向收敛型图应用的GraphX数据缓存方法,分为9个步骤:初始化、顶点计算与标识更新,活跃顶点信息收集、过滤时机判断、顶点属性同步、顶点活跃状态同步、过期数据过滤、判断迭代计算是否结束和结束。本发明针对图中边规模远大于顶点规模的特点,着眼于边数据的缓存优化,将应用运行过程中不再使用的边定义为过期数据,通过以顶点为中心的间接标识方法,标识应用运行过程中的过期数据。本发明设计基于活跃顶点规模变化趋势的数据过滤方法,当活跃顶点规模显著减小时,进行过期数据的过滤,降低数据过滤的性能开销,同时保障应用在内存配置受限的情况下,系统能将计算所需的图数据完整缓存于内存空间,提升应用的执行效率。

    一种基于周期性特征分析的在线负载资源预测方法

    公开(公告)号:CN110297715A

    公开(公告)日:2019-10-01

    申请号:CN201910592018.8

    申请日:2019-07-02

    Abstract: 本发明公开了一种基于周期性特征分析的在线负载资源预测方法,在线负载资源预测方法分为三个步骤,资源序列周期识别、子序列分类、在线负载资源预测方法构建。本方法针对在线负载在运行过程中资源使用量具有明显的周期性特征,收集在线负载资源序列样本,对资源序列进行周期识别以及资源序列划分;其次,对于划分得到的子序列进行相似度计算并分类;然后,采用加权方式计算在线负载资源需求进行预测,本方法实现了基于周期性的在线负载资源预测。

Patent Agency Ranking