一种资源解耦合的跨云数据传输方法和装置

    公开(公告)号:CN119211319A

    公开(公告)日:2024-12-27

    申请号:CN202411718896.7

    申请日:2024-11-28

    Applicant: 北京大学

    Abstract: 本申请提供了一种资源解耦合的跨云数据传输方法和装置,包括:响应于目标用户发送的第一数据传输指令,基于第一数据传输指令,确定目标待传输数据所在的第一数据存储地址、目标待传输数据的数据量和目标传输地址,基于第一数据存储地址和目标传输地址之间的数据传输速率、数据量和预设传输时长,确定第一数据传输指令对应的第一数据传输函数的第一调用数量,对各个第一数据传输函数进行逐级调用,并统计第一数据传输函数的调用次数,在调用次数大于或等于第一调用数量的情况下,基于各个第一数据传输函数,将目标待传输数据由第一数据存储地址发送到目标传输地址,一定程度上提升了跨云数据传输的传输效率。

    面向深度学习应用的资源解耦合系统、执行方法和设备

    公开(公告)号:CN116991590B

    公开(公告)日:2024-01-12

    申请号:CN202311235145.5

    申请日:2023-09-25

    Applicant: 北京大学

    Abstract: 本申请提供了一种面向深度学习应用的资源解耦合系统、执行方法和设备,涉及深度学习应用技术领域,所述系统包括:计算池,计算池包括多个GPU服务器,GPU服务器中设有用于缓存应用程序状态的内存和多个GPU工作器;内存池,内存池包括多个内存服务器,内存服务器中设有用于存储应用程序状态的第二内存;负载均衡器,用于根据多个GPU服务器的缓存状态,将深度学习应用任务分派给目标GPU服务器中的目标GPU工作器;所述目标GPU工作器利用目标应用程序状态,执行所述深度学习应用任务,得到任务执行结果。

    一种服务器无感知的大语言模型推理系统、方法和设备

    公开(公告)号:CN116702907B

    公开(公告)日:2023-11-14

    申请号:CN202310961495.3

    申请日:2023-08-02

    Applicant: 北京大学

    Abstract: 本申请提供了一种服务器无感知的大语言模型推理系统、方法和设备,该系统应用于人工智能技术领域,该系统包括:调度器和GPU集群;调度器包括:作业分析模块,用于对接收到的目标推理作业请求,进行信息预测,得到预测执行时间;调度模块,用于根据预测执行时间,确定目标推理作业请求所需要进入的目标优先级队列;调度模块,还用于从多个优先级队列中,选择一个或多个推理作业请求发送给GPU集群;GPU集群包括:分布式执行模块,用于接收调度模块发送的推理作业请求,执行推理作业请求所对应的推理作业,得到推理结果;内存管理模块,用于管理分布式执行模块执行推理作业的过程中产生的中间状态数据。

    面向深度学习应用的资源解耦合系统、执行方法和设备

    公开(公告)号:CN116991590A

    公开(公告)日:2023-11-03

    申请号:CN202311235145.5

    申请日:2023-09-25

    Applicant: 北京大学

    Abstract: 本申请提供了一种面向深度学习应用的资源解耦合系统、执行方法和设备,涉及深度学习应用技术领域,所述系统包括:计算池,计算池包括多个GPU服务器,GPU服务器中设有用于缓存应用程序状态的内存和多个GPU工作器;内存池,内存池包括多个内存服务器,内存服务器中设有用于存储应用程序状态的第二内存;负载均衡器,用于根据多个GPU服务器的缓存状态,将深度学习应用任务分派给目标GPU服务器中的目标GPU工作器;所述目标GPU工作器利用目标应用程序状态,执行所述深度学习应用任务,得到任务执行结果。

    面向资源解耦合数据中心的服务器无感知计算调度方法

    公开(公告)号:CN116302404B

    公开(公告)日:2023-10-03

    申请号:CN202310149359.4

    申请日:2023-02-16

    Applicant: 北京大学

    Inventor: 金鑫 刘譞哲 祁晟

    Abstract: 本发明实施例提供一种面向资源解耦合数据中心的服务器无感知计算调度方法。应用于调度器,所述方法包括:根据接收的任务请求RPC,确定对应的任务类型;根据任务类型,确定所述任务类型对应的分配比例;根据所述分配比例,将所述任务类型中的任务以对应的概率分配至计算节点或存储节点进行执行。旨在将各种类型的任务分配至与自身运行时特征相匹配的节点上进行执行,从而提高任务执行效率和系统的资源利用率,进而提高系统的吞吐量。

    有状态的服务器无感知函数的写优化方法和装置

    公开(公告)号:CN116627775A

    公开(公告)日:2023-08-22

    申请号:CN202310904722.9

    申请日:2023-07-24

    Applicant: 北京大学

    Inventor: 金鑫 刘譞哲 祁晟

    Abstract: 本公开提供了一种有状态的服务器无感知函数的写优化方法和装置,涉及计算机技术领域,旨在免除写操作记录日志的情况下,实现严格一次语义。所述方法包括:在有状态的服务器无感知函数针对目标对象进行写操作的情况下,获取所述有状态的服务器无感知函数当前的内部序列号;将所述有状态的服务器无感知函数当前的内部序列号,确定为所述写操作的版本号;获取外部存储节点上所述目标对象的版本号;在所述写操作的版本号大于所述目标对象的版本号的情况下,更新所述目标对象,并将所述目标对象的版本号更新为所述写操作的版本号;在所述写操作的版本号不大于所述目标对象的版本号的情况下,跳过所述写操作。

    一种服务器无感知资源处理方法、装置和电子设备

    公开(公告)号:CN116401062A

    公开(公告)日:2023-07-07

    申请号:CN202310392348.9

    申请日:2023-04-13

    Applicant: 北京大学

    Abstract: 本公开提供了一种服务器无感知资源处理方法、装置和电子设备,涉及计算机技术领域,旨在解决图形处理器的利用率较低的技术问题,实现在服务器无感知的情况下提升图形处理器的利用率。所述方法包括:获取资源保障型任务针对目标图形处理器的第一函数调用,并获取第一函数调用的到达速率;根据第一函数调用的到达速率,从统一显存地址空间中,为第一函数调用分配显存;获取机会型任务针对任一图形处理器的第二函数调用,并获取第二函数调用的到达速率;获取预先确定的目标速率;根据第一函数调用的到达速率和目标速率,确定第二函数调用的离开速率;根据第二函数调用的离开速率,从统一显存地址空间中,为第二函数调用分配显存或主存。

    服务器无感知的分布式训练软件定义聚合通信框架和方法

    公开(公告)号:CN116366467A

    公开(公告)日:2023-06-30

    申请号:CN202310614094.0

    申请日:2023-05-29

    Applicant: 北京大学

    Abstract: 本申请提供了一种服务器无感知的分布式训练软件定义聚合通信框架和方法,属于聚合通信技术领域,本申请实施例通过在控制平面向用户提供可编程接口模块,能够实现控制平面与数据平面的清晰解耦,使得用户在面对服务器无感知场景时,不仅能够对各个分布式训练节点的运行状态信息和性能信息进行实时监测,还能够将算法调整信息注入到聚合通信操作的适当流程节点,实现对原始聚合通信算法的修改和优化,并利用数据平面负责对接不同计算引擎及底层通信库,实现自定义聚合通信算法在不同运行环境下的透明化部署,进而在改善聚合通信性能的同时提高分布式训练的效率。

    面向资源解耦合数据中心的服务器无感知计算调度方法

    公开(公告)号:CN116302404A

    公开(公告)日:2023-06-23

    申请号:CN202310149359.4

    申请日:2023-02-16

    Applicant: 北京大学

    Inventor: 金鑫 刘譞哲 祁晟

    Abstract: 本发明实施例提供一种面向资源解耦合数据中心的服务器无感知计算调度方法。应用于调度器,所述方法包括:根据接收的任务请求RPC,确定对应的任务类型;根据任务类型,确定所述任务类型对应的分配比例;根据所述分配比例,将所述任务类型中的任务以对应的概率分配至计算节点或存储节点进行执行。旨在将各种类型的任务分配至与自身运行时特征相匹配的节点上进行执行,从而提高任务执行效率和系统的资源利用率,进而提高系统的吞吐量。

    数据查询方法、装置、系统、设备和介质

    公开(公告)号:CN115237948A

    公开(公告)日:2022-10-25

    申请号:CN202210869916.5

    申请日:2022-07-22

    Abstract: 本公开提供了一种数据查询方法、装置、系统、设备和介质。该方法包括:获取目标终止条件;基于查询数据和Y个子数据集中的每一个子数据集的相似度,确定Y个子数据集各自的排名,Y为大于1的正整数;将Y个子数据集中的排名最高的前Z个未处理过的子数据集作为当前子数据集并对当前子数据集进行处理,直至当前查询指标中至少部分指标满足目标终止条件,将更新后的中间结果作为查询结果;其中,Z为小于Y的正整数,处理包括:在当前子数据集所包括的样本数据中,确定与查询数据的相似度最高的至少一个样本数据以更新中间结果,基于更新后的中间结果确定当前查询指标。

Patent Agency Ranking