-
公开(公告)号：CN102799486A
公开(公告)日：2012-11-28
申请号：CN201210205841.7
申请日：2012-06-18
Applicant: 北京大学
Abstract: 本发明涉及一种MapReduce系统中的数据采样和划分方法，其步骤包括：1）客户端向MapReduce系统中提交任务请求，所述MapReduce系统中的主控节点将Map任务划分成采样和普通任务，所述主控节点Master将采样任务优先下发到各个分节点Worker进行执行；2）根据各个分节点Worker上的Map采样任务筛选出样本集合，并将样本上传至主控节点Master进行合并；3）所述主控节点Master根据Map采样任务结果得到Reduce任务工作量，对Reduce任务划分键值区间，实现负载均衡，完成采样和划分。在存在数据倾斜的应用场景下，本发明可以较大幅度地提高整个MapReduce任务的执行效率，本发明的数据采样和划分算法对于原有MapReduce系统带来的额外开销较小，在数据分布比较均匀的应用场景下基本上不影响原系统的执行效率。
-
公开(公告)号：CN101719081A
公开(公告)日：2010-06-02
申请号：CN200910238364.2
申请日：2009-12-01
Applicant: 北京大学
Abstract: 本发明公开了一种虚拟机调度方法，属于计算机网络领域。本方法为：1)在每台物理服务器上运行一物理机监控器，用于定期搜集各虚拟机的负载并将其发送到虚拟机调度器，以及接收并执行虚拟机调度器发来的指令；2)虚拟机调度器定期判断出负载数据发生变化的虚拟机及其所在的物理服务器；3)虚拟机调度器采用装箱算法对负载数据发生变化的虚拟机进行调整，得到虚拟机与物理服务器的目标对应关系；4)虚拟机调度器比较虚拟机与物理服务器的当前对应关系和目标对应关系，生成一虚拟机调度计划；5)物理机监控器根据虚拟机调度计划对虚拟机进行调度。与现有技术相比，本发明具有负载均衡的效果，同时休眠处于空闲的物理服务器，进一步降低能耗。
-
公开(公告)号：CN117041059A
公开(公告)日：2023-11-10
申请号：CN202310797645.1
申请日：2023-06-30
Applicant: 蚂蚁区块链科技(上海)有限公司 , 北京大学
IPC: H04L41/0896 , H04L41/12 , H04L9/00
Abstract: 本申请一个或多个实施例提供一种区块链网络拓扑调整方法、共识节点和区块链网络，所述方法应用于区块链网络中的任一目标节点，包括：获取待发送的目标区块；确定所述目标区块是否符合预设的第一触发条件；如果所述目标区块符合所述第一触发条件，在所述目标区块中添加与所述目标节点对应的带宽容量信息后转发所述目标区块；以及，基于所述目标区块包含的与所述目标区块的传输路径上的各个节点对应的带宽容量信息，从所述传输路径上确定出带宽容量大于所述目标节点的带宽容量的节点，并与所述节点建立连接，以对所述区块链网络的网络拓扑进行调整；其中，所述带宽容量信息由所述各个节点在转发所述目标区块时添加至所述目标区块。
-
公开(公告)号：CN116170464A
公开(公告)日：2023-05-26
申请号：CN202211737971.5
申请日：2022-12-30
Applicant: 蚂蚁区块链科技(上海)有限公司 , 北京大学
Abstract: 本说明书提出一种区块链网络中的共识数据分发方法，包括：从基于纠删码算法针对所述共识数据进行分割得到的指定数量的数据分片中，确定所述目标共识节点待分发的目标数据分片；将所述目标数据分片分别单播发送至所述区块链网络中的各个区域子网络中与该目标共识节点建立了网络连接的目标中继节点，以使所述目标中继节点继续将所述目标数据分片广播发送至其所属的区域子网络中与其建立了网络连接的其它的各个中继节点和普通节点，由所述其它的各个中继节点和所述普通节点，对接收到的与所述共识数据对应的数据分片进行数据恢复。
-
公开(公告)号：CN111966484A
公开(公告)日：2020-11-20
申请号：CN202010581407.3
申请日：2020-06-23
Applicant: 北京大学
Abstract: 本发明涉及一种基于深度强化学习的集群资源管理和任务调度方法及系统。该方法将需要运行的任务放置于待调度任务队列；通过资源调度管理智能体依次处理待调度任务队列中的任务，根据集群资源状况和任务的资源需求产生调度决策；所述资源调度管理智能体是根据在集群上运行的历史任务记录，使用深度强化学习的方法训练得到的神经网络；根据调度决策，将任务调度至集群中对应的机器上执行。本发明能够提高集群资源的利用率和系统吞吐率，并使得计算机集群资源分配可以在任务负载情况变化时自适应；本发明能够使得任务的响应时间更短，能够在相同负载的情况下减少集群机器数目，对于节省能源保护环境有重要的意义。
-
Patent Agency Ranking
公开(公告)号：CN111694656A
公开(公告)日：2020-09-22
申请号：CN202010322543.0
申请日：2020-04-22
Applicant: 北京大学
Abstract: 本发明公开一种基于多智能体深度强化学习的集群资源调度方法及系统，涉及计算机软件技术领域，生成随机合成的作业序列或者基于云服务提供商公开数据的真实作业序列，从作业序列中提取作业，添加到等待作业队列中并计算预计执行时间，该等待作业队列设置成由多台机器组成的集群共享，每台机器含有待分配的计算资源；根据传统手工设计的启发式调度算法生成调度决策，并利用该调度决策训练、评估和优化基于多智能体深度强化学习的自适应调度算法，据以得到当前所有待调度作业整体的最终调度决策；对于待调度作业，根据最终调度决策指定的目标机器，在目标机器的可用计算资源中扣除作业使用的资源，到达作业预计完成时间后释放，完成调度。
-
公开(公告)号：CN111294284A
公开(公告)日：2020-06-16
申请号：CN201811505121.6
申请日：2018-12-10
IPC: H04L12/801
Abstract: 本申请提供一种流量调度方法及装置。包括：网络设备向控制器发送网络设备的第一局部状态信息，第一局部状态信息用于生成网络设备的第一全局状态信息；网络设备接收控制器发送的第一全局状态信息；网络设备根据第一全局状态信息生成第一流量调度指令，网络设备接收控制器发送的第一流量调度指令，网络设备根据第一流量调度指令对待传输的第一数据流进行流量调度。由于各个网络设备无需采用广播方式实现通信，而是与控制器进行通信，控制器基于各个局部状态信息生成全局状态信息，从而解决了通信量过大的问题。
-
公开(公告)号：CN110033095A
公开(公告)日：2019-07-19
申请号：CN201910159918.3
申请日：2019-03-04
Applicant: 北京大学
IPC: G06N20/00
Abstract: 本发明涉及一种高可用分布式机器学习计算框架的容错方法和系统。该方法建立分布式机器学习框架，包括多个Master节点、多个Server节点、多个Agent节点，其中Agent节点和Server节点、Master节点通信，每个Server节点存储一部分参数，每个Agent节点存储一部分训练数据，计算本地的参数更新量；Master节点记录其它节点的信息及机器学习任务相关的信息；Master节点组成高可用的Master集群，通过分布式一致性哈希算法和参数备份实现Server节点的高可用，通过重新启动进行Agent节点的故障恢复。本发明能够提高分布式机器学习系统的高可用性，能够灵活高效地进行故障恢复。
-
公开(公告)号：CN109445953A
公开(公告)日：2019-03-08
申请号：CN201811000167.2
申请日：2018-08-30
Applicant: 北京大学
Abstract: 本发明公开一种面向大规模机器学习系统的机器学习模型训练方法。本方法为：1)将面向机器学习任务的专用计算机系统抽象为非一致性分布式内存的机器学习系统；2)各计算节点上的机器学习模型从该机器学习系统中读取本轮训练所需的训练数据和机器学习模型最新的参数数据；3)各计算节点分别利用当前获取的训练数据和参数数据训练本地的机器学习模型，计算机器学习模型的参数更新量并将其上传到该机器学习系统；4)该机器学习系统根据用户配置的参数更新方案和当前收到的参数更新量对参数进行更新。本发明使得机器学习算法的开发者无需关注分布式的具体实现，大大降低了大规模机器学习算法开发的难度。
-
公开(公告)号：CN105117286B
公开(公告)日：2018-06-12
申请号：CN201510607579.2
申请日：2015-09-22
Applicant: 北京大学
IPC: G06F9/48
Abstract: 本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法，将有依赖关系的任务根据依赖关系和优先程度进行任务调度，使得有依赖关系的任务之间的执行重叠最大化：任务之间的依赖关系用DAG关系图表示，根据关键路径算法获得关键任务，通过流水化任务执行方法执行当前任务运行队列中的任务：执行上游map任务；进入上游reduce阶段；当输出第一个block时启动下游map阶段，分发一个map任务，同时设置下游任务map数量为最大数值；上游任务完成时设置下游任务map数量为正确数值；下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率，提升系统运行性能。
-
-
-
-
-
-
-
-
-
Search Results
42
records
(took 0.036 seconds)
