-
公开(公告)号:CN108710638A
公开(公告)日:2018-10-26
申请号:CN201810333653.X
申请日:2018-04-13
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于混合RDMA操作的分布式并发控制方法及系统,在读取远端地址已被缓存的数据、远端数据时间戳以及向远端写入事务日志时,使用RDMA的单边操作;在读取远端地址未被缓存的数据、申请远端数据锁、提交远端事务、释放远端数据锁时,使用RDMA的双边操作。与现有技术相比,本发明根据分布式并发控制协议中不同步骤的特征,针对性地使用适合的RDMA操作完成对于远程数据的访问,通过混合使用RDMA操作优化分布式并发控制过程中网络硬件和处理器硬件的使用效率。
-
公开(公告)号:CN105404546A
公开(公告)日:2016-03-16
申请号:CN201510761788.2
申请日:2015-11-10
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于RDMA和HTM的分布式并发控制方法,包括步骤1:根据程序需要访问的数据选择执行的服务器;步骤2:通过选定的服务器获取程序需要访问的远端数据,并对远端数据进行保护;步骤3:读取全部远端数据并缓存至执行服务器后,在HTM中执行程序。本发明采用混合的并发控制方法,利用HTM的和RDMA的特性实现程序对于本地和分布式数据访问的保护。本发明对于现有数据库系统的事务性支持,能够降低并发控制所带来的开销,增加数据库系统的吞吐量和降低数据库事务执行的延迟。提升数据库系统的资源利用率以及商场应用服务的性能,进而可以带来可观的社会效益和经济效益。
-
公开(公告)号:CN104899250A
公开(公告)日:2015-09-09
申请号:CN201510229191.3
申请日:2015-05-07
Applicant: 上海交通大学
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30221
Abstract: 本发明提供了一种基于图结构与数据信息分离的图计算伸缩方法,其特征在于,包括:步骤1:对图结构信息与数据信息进行分离迁移;步骤2:本地性敏感和负载均衡的优化分配。本发明采用图结构与数据信息分离迁移的方法,以及本地性敏感和负载均衡的优化分配机制,实现图计算系统的伸缩。本发明相对现有系统级(如借助虚拟机迁移等技术)的弹性缩放支持,能够降低上层应用服务性能的损失,缩短计算系统弹性迁移过程中的整体迁移时间和服务中断时间。提升云计算集群资源利用率以及上层应用服务的可用性,促进具有高通量需求的关键计算服务在云计算数据中心的部署,进而可以带来可观的社会效益及经济效益。
-
公开(公告)号:CN120012935A
公开(公告)日:2025-05-16
申请号:CN202510101866.X
申请日:2025-01-22
Applicant: 上海交通大学
Abstract: 本发明提供了一种适用于混合专家架构大语言模型的专家访问预测方法和系统,综合考虑模型结构和硬件特征信息,通过为每一层构建基于神经网络的专家访问预测器,并利用历史数据进行训练,能够提前预测模型推理过程中需要激活的专家。这一过程中,预测器在CPU上并行执行预测,而预取器根据预测结果提前将专家参数从主机内存加载到GPU显存中。通过调整预测距离在预测准确率和预取提前量之间进行权衡,并能根据预测准确率动态调整预取数量。同时,采用并行加载,最大化地利用系统资源,减少对GPU推理性能的影响。最后,通过高优先级重新预取等机制来处理预测错误的情况,确保模型推理的正常进行。
-
公开(公告)号:CN119088699A
公开(公告)日:2024-12-06
申请号:CN202411200303.8
申请日:2024-08-29
Applicant: 上海交通大学
IPC: G06F11/36
Abstract: 本发明提供了一种基于kernel参数分析和插桩验证的GPU访问数据追踪方法及系统,包括kernel插桩步骤:对目标kernel逐个插桩,生成插桩后的kernel;访问数据预测步骤:分析待启动kernel的参数,预测kernel修改的显存范围,并调用插桩后的kernel验证预测结果;访问数据更新步骤:根据验证结果更新访问数据追踪结果;若验证通过则添加本次预测范围到访问数据范围;若验证未通过,则将访问数据更新为全部已分配显存范围。本发明能够不依赖于GPU厂商提供的硬件支持,如硬件访问位及配套的驱动程序;采用了预测加验证的方法,降低了插桩带来的运行时性能开销,具有广泛的应用前景。
-
公开(公告)号:CN116389543A
公开(公告)日:2023-07-04
申请号:CN202310265789.2
申请日:2023-03-17
Applicant: 上海交通大学
IPC: H04L67/141 , H04L67/563
Abstract: 本发明提供了一种内核态RDMA的QP共享算法与混合连接池优化方法和系统,包括:在内核态中使用RDMA,通过RDMA QP共享算法来避免NIC网卡因共享给多个用户进程而出现的溢出的情况,并且引入混合连接池的设计,在不影响原有性能的前提下,将原来毫秒级别的连接时延降低至微秒级别。
-
公开(公告)号:CN110825734B
公开(公告)日:2023-04-28
申请号:CN201910954300.6
申请日:2019-10-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种平衡树的并发更新方法及读写系统,包括:在定位阶段将更新平衡树的请求在叶子节点进行缓存,再将平衡树的结构调整推迟到平衡阶段将任务划分给不同工作线程执行。本发明可以减少冗余的耗时操作和请求以节省CPU资源,充分利用任务并行和数据并行以提升更新平衡树的性能,提升在并发更新情况下平衡树更新的性能和读写并发情况下的平衡树查询性能。
-
公开(公告)号:CN112149808B
公开(公告)日:2022-10-14
申请号:CN202011043369.2
申请日:2020-09-28
Applicant: 上海交通大学
Abstract: 本发明公开了一种拓展单机图神经网络训练至分布式训练的方法,该方法通过提供图划分和数据同步拓展的功能,利用具有自动反向传播的单机图神经网络框架,只需要在原有单机图神经网络模型代码中增加少量的数据同步代码,再将大图划分至多台服务器,可以在不修改单机图神经网络框架以及不修改原有单机图神经网络模型计算逻辑的情况下,使用多台服务器实现与单机图神经网络训练等价的分布式大图训练。此外,本发明还公开了一种拓展单机图神经网络训练至分布式训练的系统。另外,本发明公开了一种存储有计算机程序的计算机可读存储介质。
-
公开(公告)号:CN114861193A
公开(公告)日:2022-08-05
申请号:CN202210501191.4
申请日:2022-05-09
Applicant: 上海交通大学
Abstract: 本发明提供了一种微内核操作系统资源隔离方法及系统,包括:利用资源集装箱的抽象管理各个进程的CPU资源和内存资源;在相关的用户态服务器的内部实现设备带宽隔离机制;基于能力机制实现进程沙盒机制。与现有技术相比,本发明针对云计算场景下的资源隔离问题提出了一种新的微内核操作系统资源隔离机制,该机制在保证轻量性的同时,还实现了比当前的容器技术更强的资源隔离性,很好的满足了当前业界的前沿需求。
-
公开(公告)号:CN114860729A
公开(公告)日:2022-08-05
申请号:CN202210515138.X
申请日:2022-05-11
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/2455 , G06F16/28 , G06F16/2457
Abstract: 本发明提供了一种基于图结构索引的关系型数据连接方法及系统,该方法采用一种能够保存关系型数据之间关系的图结构索引,通过这种图结构索引进行匹配数据的筛选以及数据的定位,完成连接操作。与现有技术相比,本发明可以减少连接操作筛选过程中的复杂操作和数据读取,提升连接操作性能,同时图结构索引的使用开销和构建开销相比现有连接方法中的索引有所减少。本发明基于图结构索引的连接方法,相比原来的索引结构,更能表达数据之间的关系,提高连接过程中筛选效率,减少无用数据的读取,达到服务高效的目的;在图结构索引使用过程中,相比树状索引和哈希索引避免复杂的计算操作,只需要对图结构索引进行读取,额外的时间成本小。
-
-
-
-
-
-
-
-
-