-
公开(公告)号:CN119743484A
公开(公告)日:2025-04-01
申请号:CN202510244380.1
申请日:2025-03-03
Applicant: 之江实验室
IPC: H04L67/1042 , H04L67/1097 , H04L67/566 , H04L67/5681 , H04L41/04 , H04L41/22 , H04L69/06 , H04L69/22
Abstract: 本说明书公开了一种多元异构存储集群管理方法及存储介质。在此方法中,可以通过管理设备的全局资源池对多元异构存储集群的所有存储资源进行集中管理和动态分配,以及支持跨不同云计算环境和多个存储集群之间的无缝数据迁移,增强了系统的灵活性和适应性,以使用户可以通过用户界面从创建、分配、使用到回收等方面,进行完整的存储资源生命周期管理,而无需关心底层复杂的硬件配置或网络拓扑结构,进而可以有助于降低运维复杂度,减少人为错误,并显著降低了算力中心在存储运营方面的成本。
-
公开(公告)号:CN114579183B
公开(公告)日:2022-10-18
申请号:CN202210466088.0
申请日:2022-04-29
Applicant: 之江实验室
Abstract: 本发明公开了一种用于分布式计算的作业分解处理方法,该方法采用程序静态分析对待运行的源程序进行分析,确定源程序包含的函数调用图;再通过程序动态分析或/和程序智能分解算法确定所述源程序所包含的函数的特征信息,函数特征信息用于表征各函数运行时的相关信息;根据所述函数特征信息、函数关系和计算平台的可用资源信息,对源程序进行分解,形成各函数在计算平台上的执行建议,即各函数使用哪些硬件资源计算;最后在源程序中插入修饰符,在计算平台上开始计算。通过本发明的方法,用户不需要对源程序做任何修改,即可实现源程序的分布式执行,保障了分布式执行方案的可重复性,避免了人为操作的主观性,节省了时间和人力成本。
-
公开(公告)号:CN114579183A
公开(公告)日:2022-06-03
申请号:CN202210466088.0
申请日:2022-04-29
Applicant: 之江实验室
Abstract: 本发明公开了一种用于分布式计算的作业分解处理方法,该方法采用程序静态分析对待运行的源程序进行分析,确定源程序包含的函数调用图;再通过程序动态分析或/和程序智能分解算法确定所述源程序所包含的函数的特征信息,函数特征信息用于表征各函数运行时的相关信息;根据所述函数特征信息、函数关系和计算平台的可用资源信息,对源程序进行分解,形成各函数在计算平台上的执行建议,即各函数使用哪些硬件资源计算;最后在源程序中插入修饰符,在计算平台上开始计算。通过本发明的方法,用户不需要对源程序做任何修改,即可实现源程序的分布式执行,保障了分布式执行方案的可重复性,避免了人为操作的主观性,节省了时间和人力成本。
-
公开(公告)号:CN118036668B
公开(公告)日:2024-06-07
申请号:CN202410443128.9
申请日:2024-04-12
Applicant: 之江实验室
IPC: G06N3/0455 , G06N3/08 , G06N5/04
Abstract: 本说明书公开了一种面向GPT模型的综合评测方法,获取待测GPT模型,确定所述待测GPT模型的训练推理环境,根据所述训练推理环境,确定所述待测GPT模型的理论性能,利用所述待测GPT模型执行各测试任务,根据所述待测GPT模型执行各测试任务的执行过程以及所述理论性能,确定所述待测GPT模型执行各测试任务时的执行性能,并,根据所述待测GPT模型执行各测试任务的推理结果,确定所述待测GPT模型的推理能力,根据所述执行性能以及所述推理能力,确定所述待测GPT模型的测试结果,可使用户在不进行模型训练的情况下,对不同的GPT模型的性能与能力拥有更清晰、直观的了解,方便用户选择GPT模型以满足自身需要。
-
公开(公告)号:CN117032999B
公开(公告)日:2024-01-30
申请号:CN202311298504.1
申请日:2023-10-09
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本说明书公开了一种基于异步运行时的CPU‑GPU协同调度方法及装置,确定待执行任务,将所述待执行任务分解成包含若干子任务的子任务队列,针对每个子任务,根据执行该子任务所需的计算资源类型,确定用于执行该子任务的处理器类型,当要执行该子任务时,将该子任务调度至与该子任务的处理器类型对应的处理器执行。该方法提供的协同调度方法,能够将待执行子任务分解成子任务队列,并将队列中获得的待执行子任务合理的调度到CPU和GPU处理器上执行,通过避免和减少CPU、GPU的空闲时间,做到高效地利用CPU和GPU协同计算资源,获得对整体计算资源的更高利用效能,以解决现有技术中存在的CPU、GPU计算资源空闲率高,但资源占用时间长的问题。
-
公开(公告)号:CN117010485B
公开(公告)日:2024-01-26
申请号:CN202311293177.0
申请日:2023-10-08
Applicant: 之江实验室
IPC: G06N3/098 , H04L67/1001 , G06F9/50
Abstract: 本说明书公开了一种边缘场景下的分布式模型训练系统及梯度规约方法,在系统中设置有用于根据自身存储的训练样本确定第一梯度的边缘设备,以及接收各边缘设备的梯度并共享的边缘服务器,在模型迭代过程中,由边缘设备确定自身梯度,并将自身梯度发送给边缘服务器,边缘服务器根据接收到的第一梯度确定局部梯度,并基于局部梯度确定总梯度,以根据确定出的总梯度执行模型训练任务。该模型训练系统在各边缘设备的网络情况各不相同的情况下,可通过与各边缘设备连接的边缘服务器先确定局部梯度,再通过指定网络确定总梯度,并根据确定出的总梯度训练模型,保证了模型训练效率。(56)对比文件Wei Xu et al..Edge Learning for B5GNetworks With Distributed SignalProcessing:Semantic Communication,EdgeComputing,and Wireless Sensing《.IEEEJOURNAL OF SELECTED TOPICS IN SIGNALPROCESSING》.2023,第17卷(第1期),9-39.Shibiao Shao et al..A DistributedSub-Gradient Optimal Scheduling MethodBased on Primal Decomposition withApplication to Multi-Area InterconnectedPower Systems《.2021 IEEE 17thInternational Conference on AutomationScience and Engineering》.2021,860-865.
-
公开(公告)号:CN115661602A
公开(公告)日:2023-01-31
申请号:CN202211415579.9
申请日:2022-11-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种图像识别的方法、装置、存储介质及电子设备。该图像识别的方法包括:构建初始识别模型,以识别出初始识别模型中包含的各模型算子、各模型算子对应的算子类型以及各模型算子之间的数据传递类型,针对每个候选算子,并根据该候选算子对应的数据传递类型,判断该候选算子与相邻算子是否满足预设的融合条件,若是,则将该候选算子与相邻算子融合,得到融合算子;根据融合算子以及未融合的各模型算子构建目标识别模型并部署;获取待识别图像,将待识别图像输入部署后的目标识别模型中,以通过目标识别模型输出待识别图像对应的图像识别结果。
-
公开(公告)号:CN115240048A
公开(公告)日:2022-10-25
申请号:CN202211148073.6
申请日:2022-09-21
Applicant: 之江实验室
IPC: G06V10/80 , G06V10/764 , G06V10/774 , G06N20/00
Abstract: 本发明公开了面向图像分类的深度学习的算子定位融合方法及装置,将深度学习模型建模为一个有向无环图,有向无环图的节点表深度学习模型的算子,节点之间的边代表深度学习模型算子间的数据传输和算子的计算先后关系;使用算子类型作为节点类型对有向无环图中的节点赋值;定义算子之间的连接关系,并使用连接关系对有向无环图中的边赋值;获得一系列由算子类型按一定顺序排列组成的算子融合规则,采用深度优先搜索算法对有向无环图中的节点进行遍历,并根据节点类型、算子融合规则、算子连接关系识别有向无环图中需要聚合的节点;将被聚合的节点所对应的算子集合,获得粗化的深度学习计算图,并通过该计算图进行图像分类。
-
公开(公告)号:CN119597601A
公开(公告)日:2025-03-11
申请号:CN202411503872.X
申请日:2024-10-25
Applicant: 之江实验室
IPC: G06F11/34 , G06F9/48 , G06F9/50 , G06F18/213 , G06F18/25 , G06F18/27 , G06N20/10 , G06N3/04 , G06N3/08
Abstract: 本说明书公开了一种基于运行时长预测的深度学习任务执行方法及装置。所方法包括:通过智算集群中的各计算节点按照当前任务分配策略执行目标深度学习任务,并在目标深度学习任务执行指定时长后,获取各计算节点上的计算资源在指定时长内的性能监控数据序列,对各计算节点对应的性能监控数据进行处理,针对每个计算节点对应的目标监控数据,提取该目标监控数据在时域上的时域特征和该目标监控数据在频域上的频域特征;将时域特征和频域特征输入预先训练的时长预测模型,确定完成目标深度学习任务所需的运行时长,根据运行时长,对当前任务分配策略进行调整,以根据调整后的任务分配策略执行目标深度学习任务。
-
公开(公告)号:CN115249315B
公开(公告)日:2023-02-03
申请号:CN202211148079.3
申请日:2022-09-21
Applicant: 之江实验室
IPC: G06V10/764 , G06N20/00 , G06F9/48
Abstract: 本发明公开了面向异构计算设备的深度学习图像分类方法及装置,将深度学习模型建模为一个有向无环图,有向无环图的节点表深度学习模型的算子,节点之间的有向边代表深度学习模型算子间的数据传输;根据算子分别在各异构计算设备上的处理时间为节点赋值,根据算子间数据在两个计算设备间的传输时间为节点之间的有向边赋值;将每个节点之间的有向边替换为新的节点,并增加两条有向边,保持有向无环图的拓扑结构,用原有向边的权重为新的节点赋值;对算子的内存占用、设备的内存限制、算子在设备上的执行顺序、设备与设备间的数据传输、设备与设备间的数据传输顺序建模,模型的目标函数是模型的端到端推理时延,从而得到最小时延的模型。
-
-
-
-
-
-
-
-
-