-
公开(公告)号:CN117033718A
公开(公告)日:2023-11-10
申请号:CN202311190214.5
申请日:2023-09-14
IPC: G06F16/903 , G06F16/901 , G06F16/906
Abstract: 本申请提供一种基于光线追踪的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于光线追踪单元构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请通过利用新兴的光线追踪单元的光线追踪技术来进行距离计算,从而取代IVFPQ中的子空间距离查询表构建中的距离计算操作,在保证计算结果正确的前提下,大大地提高基于IVFPQ的ANNS的搜索效率。此外,本申请还提出了一种对于光线追踪单元计算友好的内积近似计算方法,进一步提高了距离计算的效率。
-
公开(公告)号:CN111553834B
公开(公告)日:2023-11-03
申请号:CN202010332908.8
申请日:2020-04-24
Applicant: 上海交通大学
IPC: G06T1/20
Abstract: 一种基于FPGA的并发图数据预处理方法,从图数据格式信息输入集合和算法信息输入集合中提取源图数据块和图数据特征并生成图数据与图算法组合矩阵,进行的图数据格式预转换;然后根据图数据的幂律性,通过流式驱动调度确定进程分配方式后,再根据异构平台中FPGA加速器的属性参数进行匹配的数据分块与并行设计;从而实现整个并行图处理过程在FPGA上的数据预处理与调度优化的实现流程。本发明通过结合GPU和FPGA加速平台的并发调度策略,在选择最优的数据格式后通过整体预处理和调度优化得到了资源利用率和整体性能的显著提升,保证了图计算过程的高效性。
-
公开(公告)号:CN116451769A
公开(公告)日:2023-07-18
申请号:CN202310395701.9
申请日:2023-04-13
Applicant: 上海交通大学
Abstract: 本发明提供一种语言模型的量化方法及电子设备,所述方法包括:确定量化的比例因子;基于神经网络参数和所述比例因子识别正常值和异常值;将神经网络模型的张量中的每相邻的两个位置配成一对,在配对中出现异常值时,将配对中的另一个值进行剪枝,并为该配对配置异常值标识符;对存在异常值的配对进行量化。本发明能够实现对大语言模型进行快速的量化,在加速其推理速度,减少运算所需开销的同时,保证模型的准确率与性能表现。
-
公开(公告)号:CN116302481A
公开(公告)日:2023-06-23
申请号:CN202310018597.1
申请日:2023-01-06
Applicant: 上海交通大学
Abstract: 一种基于稀疏知识图谱链接预测的资源分配方法及系统,通过对集群待调度执行的负载进行分析得到在不同资源配置下任务的运行时间并离散化后构建并更新任务‑配置知识图谱,得到稀疏知识图谱;通过残差关系图神经网络对稀疏知识图谱进行表征学习,得到知识图谱中每个资源配置和负载节点和边的向量表征,再利用多通道三维卷积TransE算法(MCTE)对负载节点进行最适资源预测并根据预测得到的资源配置,为负载分配相应的资源和服务器。本发明能够对负载进行更高效的调度,更有效地保证任务的QoS以及提高数据中心的资源利用率。
-
公开(公告)号:CN113407333B
公开(公告)日:2023-05-26
申请号:CN202011506442.5
申请日:2020-12-18
Applicant: 上海交通大学
Abstract: 本发明提供一种Warp级别调度的任务调度方法、系统、GPU及设备,所述Warp级别调度的任务调度方法包括:在任务为首次任务时,离线分析用户提交任务的硬件信息及配置信息;基于所述任务的硬件信息和配置信息,获取与主流任务并行时的最大并行度;在任务为非首次任务时,基于任务的硬件信息和已收集的最大并行度决策,进行在线的任务对打包决策,将选取的任务对打包成一个新任务,并将新任务提交到GPU上,以使得任务对中的原有两个GPU任务实现warp级别的任务调度。本发明在无需用户感知提前下,实现高吞吐的Warp级别调度的任务调度,可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
-
公开(公告)号:CN115495246B
公开(公告)日:2023-04-18
申请号:CN202211212624.0
申请日:2022-09-30
Applicant: 上海交通大学
Abstract: 一种分离式内存架构下的混合远内存调度方法,首先通过限制应用本地内存使用的方式收集运行时数据,从而将任务分为远内存不敏感型任务、远内存敏感型任务和远内存禁止使用型任务;根据敏感程度互补原则,将内存不敏感型任务和内存敏感型任务分配到同一个计算节点,根据任务在同等性能限制条件下的最大可让出内存,当对应的服务器之间的整体可出让内存值相差较大时进行跨节点的内存资源调整,确定服务器的出让的内存值或者租借的远内存值,之后进行节点内部的内存资源调整,根据服务器的当前剩余内存资源,按照敏感型任务更多额外本地内存资源的原则,为每个任务进行资源分配,实现混合远内存调度。本发明充分挖掘应用在远内存环境下的特点,继而通过高效的远内存分配策略,提升数据中心中的内存利用率和使用效率。
-
公开(公告)号:CN115904796A
公开(公告)日:2023-04-04
申请号:CN202211667277.0
申请日:2022-12-23
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本发明提供了一种长链纠删码的编解码方法、系统及可读存储介质,方法包括以下步骤:S1、通过量化方式来最小化单错误跨机柜恢复代价,选择合适的数据分组策略和数据放置策略,确定编码参数;S2、对三维编码的每一维依次进行编码;S3、利用解码算法对数据进行恢复,优先使用低维编码进行校验恢复,恢复失败再调用高维编码对每一维进行校验恢复。本发明通过对单错误跨机柜恢复代价作量化分析,基于分析结果进行机柜级别的条带放置,使条带横跨更少的机柜;同时在长链纠删码的解码阶段,优先使用低维编码进行校验恢复,恢复失败再调用高维编码,充分考虑网络拓扑,尽可能降低跨机柜恢复代价,进而提高恢复性能。
-
公开(公告)号:CN112835533B
公开(公告)日:2023-02-17
申请号:CN202110213563.9
申请日:2021-02-25
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于机架级别的云存储阵列扩展方法及装置,该方法包括:对扩展存储阵列的输入参数进行计算,得到所述扩展存储阵列的扩展参数;根据所述扩展参数,确定所述扩展存储阵列对应的目标扩展策略;按照所述目标扩展策略,对所述原始存储阵列中的待迁移块进行相应的迁移,并更新对应的校验块。通过实施本申请,能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。
-
公开(公告)号:CN112817540B
公开(公告)日:2022-11-04
申请号:CN202110203507.7
申请日:2021-02-23
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于磁盘阵列扩展的数据块重分布方法及装置,该方法包括:获取原始磁盘阵列中各磁盘之间的当前IO访问量;调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测,得到每个磁盘对应的预测IO访问量;根据所述预测IO访问量,确定所述原始磁盘阵列中的热访问磁盘;从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块,作为热访问数据块;按照预设的迁移规则,将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。通过实施本申请,能够解决现有技术中存在的无法实现IO访问的整体平衡等问题。
-
公开(公告)号:CN115190121A
公开(公告)日:2022-10-14
申请号:CN202210583583.X
申请日:2022-05-25
Applicant: 上海交通大学
IPC: H04L67/10 , H04L67/148 , H04L67/51
Abstract: 本发明提供一种基于跨地域的微服务过量负载调度系统、方法及设备,所述基于跨地域的微服务过量负载调度系统包括:竞争感知的资源管理器,于本地数据中心为每个微服务分配资源量;基于奖励的微服务迁移器,当本地数据中心微服务负载过量时,选择并迁移多个微服务到远程数据中心。本发明在无需对于微服务应用进行代码修改的情况下,既可以保证微服务应用服务质量(Quality of Service,QoS),又可以最小化应用总资源和远程数据中心计算资源使用量。
-
-
-
-
-
-
-
-
-