-
公开(公告)号:CN101118501A
公开(公告)日:2008-02-06
申请号:CN200710045626.4
申请日:2007-09-06
Applicant: 上海交通大学
Abstract: 一种计算机应用领域的基于网格的补偿事务自动产生方法,首先创建针对数据修改事件产生补偿操作的行级触发器,然后由补偿事务产生器始终监视着子事务的执行;其次当影响系统状态的事件发生时,补偿事务产生器根据事件的类型调用相应的行级触发器,自动产生从语义上撤销该事件影响的补偿操作;最后,当子事务提交时,补偿事务产生器将该子事务执行过程中所产生的补偿操作组合成补偿事务,完成自动产生补偿事务。本发明的方法支持网格环境下补偿事务的自动产生,减少网格长事务应用的开发工作量和开发周期近50%。
-
公开(公告)号:CN119902707A
公开(公告)日:2025-04-29
申请号:CN202411962852.9
申请日:2024-12-30
IPC: G06F3/06
Abstract: 本申请提供一种实时量化单元的内存优化方法、系统及电子设备,所述方法包括:在KV缓存量化过程中,获取分组数据方差并基于所述方差获取分组量化系数;在预填充阶段,基于所述分组量化系数分别将所述KV缓存中的K缓存和V缓存量化为对应的数据类型;在解码阶段,K缓存每一次迭代中获取整个分组的数据,从而实现实时量化;为V缓存配置处理窗口,并基于所述处理窗口为所述V缓存进行实时量化。本申请可以支持KV缓存的动态自适应数据类型量化,优化实时量化单元的内存,以提高模型推理的效率。
-
公开(公告)号:CN119047544A
公开(公告)日:2024-11-29
申请号:CN202411088147.0
申请日:2024-08-09
Applicant: 上海交通大学
IPC: G06N3/098 , G06N3/0464 , G06F21/62 , G06F9/50 , G06F9/54
Abstract: 本公开提供一种基于客户端自主性的分布式训练方法、系统、介质及设备,其中,基于客户端自主性的分布式训练方法,包括:确定客户端本地训练的特征,客户端本地训练的特征包括系统特征和统计特征;根据客户端本地训练的特征,采用提前停止策略决策客户端的本地训练进程;根据客户端本地训练的统计特征,采用基于错误反馈的层级提前传输策略优化客户端的本地训练的通信进程。通过本公开,基于客户端本地训练的特征的指导,实现对客户端内的状态变化感知及客户端的自主决策,节省计算资源,提高模型训练效率,增加计算‑通信重叠时间,提升资源利用率。
-
公开(公告)号:CN118473977A
公开(公告)日:2024-08-09
申请号:CN202410602877.1
申请日:2024-05-15
Applicant: 上海交通大学
IPC: H04L43/08 , H04L41/149 , H04L41/0631
Abstract: 一种面向云上黑盒应用的服务质量违反感知与响应系统及方法,包括:离线资料准备模块以及设置于各服务器节点上实时运行的应用分类标记模块、监测采集模块、QoS预测模块和干扰感知模块,本发明在保障公有云环境下黑盒业务的QoS水平,并在关键业务发生QoS违反时做出响应,即时给出共享资源的干扰程度排序的同时定位干扰源,为业务调度提供支持,提高云上服务器的资源利用率。
-
公开(公告)号:CN114691314B
公开(公告)日:2024-07-19
申请号:CN202111199598.8
申请日:2021-10-14
Applicant: 上海交通大学
Abstract: 本发明提供一种基于确定性算子共存的服务调度方法及其应用的GPU,所述基于确定性算子共存的服务调度方法包括:包括:利用一共存感知的延迟预测器预测每一个算子调度组的处理时间;利用一基于余量的请求控制器以轮循的方式调度多个深度学习服务的请求,在每一个轮次中,确定接收到的所有请求的处理顺序,并基于预测的所述每一个算子调度组的处理时间确定最佳的算子调度组;利用一分段模型执行引擎处理接收到的所述算子调度组中各请求的相应算子的计算。本发明保证了多个深度学习服务混合运行的服务质量保证,同时还提高了吞吐,提升了GPU利用率。
-
公开(公告)号:CN114035935B
公开(公告)日:2024-07-19
申请号:CN202111193853.8
申请日:2021-10-13
Applicant: 上海交通大学
Abstract: 本发明提供一种面向多阶段AI云服务的高吞吐异构资源管理方法及器件,所述面向多阶段AI云服务的高吞吐异构资源管理方法包括:利用一服务质量目标分配器基于接收到的LC服务的请求将服务质量目标拆分为CPU侧服务质量目标和GPU侧服务质量目标;利用一异构资源管理器以CPU侧服务质量目标和GPU侧服务质量目标作为初始样本搜索最佳资源分配;利用一服务质量补偿器实时监测CPU阶段的进度,并在用户请求在CPU阶段花费的时间超过其CPU的服务质量目标时,加速其在加速器端的执行。本发明既保证LC服务的服务质量,又极大地提高了异构设备上所有BE应用的综合性能。
-
公开(公告)号:CN118260085A
公开(公告)日:2024-06-28
申请号:CN202410447414.2
申请日:2024-04-15
Applicant: 上海交通大学
Abstract: 一种QoS感知的CPU优化核粒度函数调度系统及方法,包括:核粒度的节点内调度器、函数分析器、频率调节器、延迟预测器、函数分析数据收集器、运行时数据收集器和函数执行器,本发明考虑真实调度过程中存在的开销,能够以CPU核心为调度粒度对函数进行计算资源分配并优化系统的能效表现,基于此实现服务器负载情况与函数处理优先级感知的系统功率调控系统,充分挖掘服务器无感知计算架构下的能效潜力。
-
公开(公告)号:CN117076726B
公开(公告)日:2024-06-07
申请号:CN202311190856.5
申请日:2023-09-14
IPC: G06F16/903 , G06F16/901 , G06F16/906
Abstract: 本申请提供一种基于光线追踪相交的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请通过使用光线追踪相交测试取代子空间距离查询表构建中的距离计算操作,将不同表项子空间中的相交值作为距离进行选择性距离计算,进而提高基于IVFPQ的ANNS的搜索效率。
-
公开(公告)号:CN117077162B
公开(公告)日:2024-04-19
申请号:CN202310954715.X
申请日:2023-07-31
IPC: G06F21/60 , G06F21/62 , G06N3/0455 , G06N5/04
Abstract: 本发明提供一种基于Transformer网络模型的隐私推理方法、系统、介质及电子设备,其中,所述方法包括:获取用户端的输入数据,所述输入数据包括图片数据和/或文本数据;基于所述输入数据进行初始数据加密后输入到Transformer网络模型进行隐私推理,其中,基于所述Transformer网络模型进行隐私推理时,除了常用的算子密态计算之外,在计算非线性算子时,本发明会将数据揭露给用户,并基于乱序矩阵进行位置加密;获取模型输出,基于所述模型输出进行最终数据解密后反馈给所述用户端。本发明从根本上解决密码学协议在非线性计算上的矛盾,可以在保证安全性不变的前提下,将网络的主要非线性计算转化为明文计算,从而极大地加速隐私推理的推理速度,大大提升效率。
-
公开(公告)号:CN117395764A
公开(公告)日:2024-01-12
申请号:CN202311378473.0
申请日:2023-10-24
Applicant: 上海交通大学
IPC: H04W52/28 , H04W72/0446 , H04W4/06 , H04W4/46
Abstract: 一种面向行车安全的分布式时分复用控制系统及方法,包括:行车安全感知的功率控制模块、轻量级链式结构维护模块和无冲突时槽分配模块,本发明考虑到网络中的每个车辆节点具有不同的安全需求,本发明的核心思想是将V2V通信范围与车辆的驾驶安全需求相匹配,仅在相互关注安全的车辆之间交换安全消息,从而极大地提高信道资源的利用率。同车道上具有相互安全关注的车辆形成一种灵活动态的广播链式结构结构。本发明结合行车安全感知的功率控制和轻量级动态的链内角色切换,可以避免高度动态的车联网中的接入冲突和合并冲突。
-
-
-
-
-
-
-
-
-