基于混合式共享状态视图架构的集群并行调度系统

    公开(公告)号:CN115981825B

    公开(公告)日:2023-08-01

    申请号:CN202310065956.9

    申请日:2023-02-06

    Abstract: 一种基于混合式共享视图架构下的集群资源并行调度系统,包括:阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器、状态回声模块。本发明针对共享视图调度架构下难以被利用的阴影资源,在原有的共享视图调度架构上进行升级,有效地降低大规模集群高并行度时调度的冲突,提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。

    面向微服务的纳秒级电力资源分配方法和系统

    公开(公告)号:CN110825518B

    公开(公告)日:2023-06-09

    申请号:CN201910972406.9

    申请日:2019-10-14

    Abstract: 一种面向微服务的纳秒级电力资源分配方法及系统,采用灵活功耗预算方法根据每个微服务独特的功耗性能模型划分其对应的可分配的功率以消除宏观调控延迟;然后采用本地功耗调制设计绕过服务器系统层的功耗管理和控制程序,直接调用处理器片上的电压调制模块执行针对每个微服务的功耗分配过程以消除微观执行延迟;最后通过透明映射机制记录并更新灵活功耗预算方法以及本地功耗调制设计的调整结果,实现电力资源优化分配。本发明实现了充分地挖掘异构微服务带来的节能潜力,从而进一步打破传统数据中心节能限制的目标。

    基于纠删码的自适应编码存储方法、装置、可读存储介质

    公开(公告)号:CN116166192A

    公开(公告)日:2023-05-26

    申请号:CN202310013094.5

    申请日:2023-01-05

    Abstract: 本发明公开了一种基于纠删码的自适应编码存储方法、装置、可读存储介质,首先将系统中各个节点按照过往表现情况分类为诚实节点、风险节点以及恶意节点,利用RS(n‑f‑k,f+k)码对区块进行编码,将区块头、校验值与各个片段分别组装起来,存储到所述诚实节点和所述风险节点中。使用拜占庭容错协议将所有的所述片段分发到所述诚实节点和所述风险节点上去,并在所述诚实节点和所述风险节点之间达成共识。利用本申请的方案可以有效获取系统中的恶意节点数量,且相比于全副本的存储方式,本申请的方案降低了97.5%的存储开销。相比于基于静态纠删码的存储方式,本申请的方案降低了23.8%的存储开销的同时,降低了25.4%的写入时间延迟并提高了45.6%的写入吞吐量。

    基于图的跨机柜更新方法、系统及可读存储介质

    公开(公告)号:CN116009782A

    公开(公告)日:2023-04-25

    申请号:CN202211710238.4

    申请日:2022-12-29

    Abstract: 本发明提供了一种基于图的跨机柜更新方法、系统及可读存储介质,方法包括以下步骤:S1、构建关系图辅助数据放置,其中,在关系图中,点表示数据块,边表示数据块之间的关联,点权表示数据块的访问热度,边权表示两个数据块之间的关联程度;S2、在关系图中找到一组数据块,使这组数据块内部的边权之和达到最大并组织为条带;S3、将条带中相关性最强的一组数据块放在同一个机柜中,并保证各个机柜点权之间的差异最小;S4、构建并行树,在并行树中,节点代表机柜,边代表机柜之间的网络链路。本发明通过用关系图辅助数据放置,能够减少I/O操作次数和跨机柜传输量。并且,通过构造并行树选择最近的网络传输路径,减少了网络传输延时。

    基于混合式共享状态视图架构的集群并行调度系统

    公开(公告)号:CN115981825A

    公开(公告)日:2023-04-18

    申请号:CN202310065956.9

    申请日:2023-02-06

    Abstract: 一种基于混合式共享视图架构下的集群资源并行调度系统,包括:阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器、状态回声模块。本发明针对共享视图调度架构下难以被利用的阴影资源,在原有的共享视图调度架构上进行升级,有效地降低大规模集群高并行度时调度的冲突,提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。

    基于网络级模拟的自动并行策略搜索方法、介质及设备

    公开(公告)号:CN115879529A

    公开(公告)日:2023-03-31

    申请号:CN202211666647.9

    申请日:2022-12-23

    Abstract: 本发明提供一种基于网络级模拟的自动并行策略搜索方法、介质及设备,所述方法包括:获取神经网络计算图,并基于所述神经网络计算图对初始网络模型进行拆分,获取多个节点子网络模型,形成小集群网络模型;获取各所述节点子网络模型的时间开销;基于各所述节点子网络模型的时间开销模拟大集群网络模型的时间开销;基于模拟的大集群网络模型的时间开销进行并行策略搜索,输出最优并行策略。本发明不仅支持模型并行与流水线并行场景下的模拟,可以覆盖到现有的全部并行训练场景,同时整网拆分的性能评测方案,提升了模拟的准确率与速度。

    数据恢复方法、系统及可读存储介质

    公开(公告)号:CN115858234A

    公开(公告)日:2023-03-28

    申请号:CN202211725910.7

    申请日:2022-12-29

    Abstract: 本发明提供了一种数据恢复方法、系统及可读存储介质,方法包括以下步骤:S1、基于系统中数据条带的分布情况构建数据流图,在数据流图中,节点分别表示数据条带和解码节点,数据条带与解码节点连接的边代表恢复路径的选择;S2、对数据流图进行检测并识别拥塞的解码节点,将拥塞的解码节点及其在数据流图中相连的边删掉;S3、根据发生故障的数据条带的恢复路径的数量,选用不同的恢复方式。本发明通过利用大规模数据流图的剪枝和增枝,选择合适的数据恢复方案,增枝成功的执行纠删码恢复,增枝失败的执行插帧恢复,可以有效提高恢复性能。

    基于分治法的在线大规模垃圾收运调度方法

    公开(公告)号:CN115829177A

    公开(公告)日:2023-03-21

    申请号:CN202211484128.0

    申请日:2022-11-24

    Abstract: 一种基于分治法的在线大规模垃圾收运调度方法,通过采集垃圾站点和车辆相关数据后进行数据预处理,生成初始问题模型;然后以层次聚类算法(AHC)对初始问题进行等效分剖,获得若干初始集群;再对初始集群通过集群细化(CR)微调后对子收运问题进行求解并汇总得到总收运调度方案。本发明通过层次聚类算法Pie,将超大规模问题尽可能等价的分解为一组小规模的易求解的子问题,并采用求解带容量限制的车辆调度问题的算法求解器LKH‑3来求解本发明经过拆分后的子问题,从而有效的减少整体的垃圾收运成本和算法运行时间。

    异构计算环境下的图数据处理加速方法

    公开(公告)号:CN110187968B

    公开(公告)日:2023-03-14

    申请号:CN201910428567.1

    申请日:2019-05-22

    Abstract: 一种异构计算环境下的图数据处理加速方法,通过对顶点数据迭代地进行工作项转换、图数据处理、收敛判断更新以实现加速处理,其中:工作项转换是指将待处理顶点动态分配至至少一个GPU线程;图数据处理的起始阶段,将GPU上运行的顶点为中心的遍历函数所有分配的顶点数据读取并暂存入共享内存。本发明能够在相同硬件平台上显著提升图数据处理的性能,包括提高GPU缓存命中率和GPU内存吞吐量,以及减少整体运行时间。

Patent Agency Ranking