-
公开(公告)号:CN116521380A
公开(公告)日:2023-08-01
申请号:CN202310819041.2
申请日:2023-07-05
Applicant: 之江实验室
Abstract: 本说明书公开了一种资源自适应协同的模型训练加速方法、装置及设备。所述方法包括:获取不同计算单元对应的计算精度信息以及计算资源信息,基于的计算精度信息以及计算资源信息,生成各资源调用策略;在获取到目标模型的模型数据后,针对目标模型的每个训练阶段,确定该训练阶段所需的目标计算精度以及目标计算资源;确定满足各训练阶段的计算精度需求和计算资源需求的各资源调用策略,作为各候选调用策略;按照指定评估条件在各候选调用策略中选取出目标调用策略;根据目标调用策略调用各计算单元对应的计算资源,以执行目标模型每个训练阶段的训练任务。
-
公开(公告)号:CN116521094A
公开(公告)日:2023-08-01
申请号:CN202310804460.9
申请日:2023-07-03
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本申请涉及一种元数据存储方法、装置、计算机设备和存储介质。所述方法包括:根据应用需求设置元数据的存储基准时间;以存储基准时间为起点,根据待存储的元数据的数据类型以及待存储的元数据的存储周期,设置存储空间中的存储时间片;根据接收到的待存储的元数据的时间戳,将待存储的元数据存储至对应的存储时间片中。采用本方法能够解决现有的存储方式存在数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
-
公开(公告)号:CN116204387B
公开(公告)日:2023-07-21
申请号:CN202310461391.6
申请日:2023-04-26
Applicant: 之江实验室
Abstract: 本说明书公开了一种芯片电流的预测方法、装置、介质及电子设备,采用可解释人工智能技术,获取芯片中的任务负载状态以及指令集,该任务负载状态包括运算单元任务负载状态和缓存单元任务负载状态。将该芯片的任务负载状态输入到第一回归模型,以使第一回归模型确定该芯片维持该任务负载状态的所需电流。并将该指令集输入第二回归模型,以使第二回归模型确定该芯片执行该指令集中的指令后的电流变化值。根据该芯片维持该任务负载状态的所需电流以及该芯片执行该指令集中包含的指令后的电流变化值,以确定该芯片的增量电流。实现了对芯片维持作业的电流的预测,且因为第一回归模型与第二回归模型具备可解释性,提高了预测电流作业的可靠性及可控性。
-
公开(公告)号:CN116186330B
公开(公告)日:2023-07-11
申请号:CN202310442154.5
申请日:2023-04-23
Applicant: 之江实验室
IPC: G06F16/783 , G06V10/80
Abstract: 本说明书公开了一种基于多模态学习的视频去重方法及装置,可以获取视频存储请求,而后,可以根据视频存储请求,确定待检测视频,以及确定数据库中的目标视频,进而,将待检测视频、待检测视频的文本相关信息输入到预先训练的识别模型中的第一特征提取网络,提取待检测视频的视觉‑文本多模态特征,将目标视频和目标视频的文本相关信息输入识别模型的第二特征提取网络,提取目标视频的视觉‑文本多模态特征。将待检测视频的视觉‑文本多模态特征以及目标视频的视觉‑文本多模态特征输入到识别模型中的重复检测子网络,得到重复检测结果,并根据该重复检测结果,确定是否将待检测视频存储在数据库中,从而能够提高视频去重的准确性。
-
公开(公告)号:CN116402165A
公开(公告)日:2023-07-07
申请号:CN202310669720.6
申请日:2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子检测的方法、装置、存储介质以及电子设备,本说明书提供的算子检测方法可以获取待检测算子,将校验数据输入到该待检测算子中,得到该待检测算子输出的第一结果,以及将该校验数据输入到确定出的与待检测算子对应的至少一个参考算子中,得到经过至少一个参考算子对校验数据进行数据处理后所得到的第二结果,最后,根据第一结果以及所述第二结果,对待检测算子进行检测,本方法通过确定出和待检测算子功能相符的参考算子,并通过相同的校验数据分别输入到待检测算子和参考算子,从而通过将得出的结果进行对比,可以对待检测算子进行检测,提高了深度学习模型中算子的功能准确性。
-
公开(公告)号:CN116185307B
公开(公告)日:2023-07-04
申请号:CN202310448220.X
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
公开(公告)号:CN116304720A
公开(公告)日:2023-06-23
申请号:CN202310564363.7
申请日:2023-05-18
Applicant: 之江实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本,并针对每个算子,将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层,通过各硬件平台对应的门控网络层的加权矩阵,确定训练样本对应各硬件平台的预测运行时间,根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式,训练得到适用于多个硬件平台的代价模型。
-
公开(公告)号:CN115774800B
公开(公告)日:2023-06-20
申请号:CN202310095896.5
申请日:2023-02-10
Applicant: 之江实验室
IPC: G06F16/901 , G06F16/903 , G06F16/2455 , G06F16/245 , G06F16/2453 , G06F16/22 , G06F9/50
Abstract: 本发明公开了一种基于NUMA架构的时变图处理方法、电子设备、介质,所述方法将顶点在不同快照上的若干副本组织成顶点组,并设计基于顶点组的时变图数据结构;采用时变图分割方法将顶点组分配存储至不同NUMA节点;再进行时变图处理,包括:依次对每个NUMA节点进行聚合计算,在每轮聚合计算的过程中,每个NUMA节点的每个顶点组向下一个NUMA节点发送聚合请求,下一个NUMA节点完成聚合任务后,再向其下一个NUMA节点发送聚合请求,直到所有NUMA节点都完成聚合,其中,每个NUMA节点对应的所有顶点组被并行执行。本发明方法有效减少了远程NUMA节点的随机访问次数,使时变图计算的内存访问效率得到显著提升。
-
公开(公告)号:CN116048800A
公开(公告)日:2023-05-02
申请号:CN202310035863.1
申请日:2023-01-10
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括:确定各候选计算节点,并获取各候选计算节点的历史访问记录,根据所述历史访问记录,确定各候选计算节点对不同名字空间的访问频率,并将访问频率满足预设条件的名字空间作为目标名字空间,根据每个候选计算节点的剩余存储空间,以及各目标名字空间对应的存储需求,从各候选计算节点中选取出至少一个目标计算节点,将目标名字空间下的至少部分元数据发送给目标计算节点进行存储,以使其他计算候选计算节点向目标计算节点发送数据获取请求,并根据获取到的元数据进行数据处理。
-
公开(公告)号:CN115357369B
公开(公告)日:2023-03-24
申请号:CN202211290188.9
申请日:2022-10-21
Applicant: 之江实验室
Abstract: 本发明公开了一种k8s容器云平台中CRD应用集成调用方法与装置,基于k8s的CRD模块,定义容器应用资源对象,包括控制信息和资源信息;构建其他CRD资源注册机制,注册其他CRD资源信息,并保存对其控制器信息,刷新并读取控制器信息,通过反射的方式运行其他CRD资源的控制器,使得用于运行控制器的最小单元上,能够运行多个其他CRD资源的控制器;将控制器部署到K8s中,用户提交控制信息和已注册的其他CRD资源的资源信息,系统根据控制信息执行控制逻辑,根据资源信息提交相应计算任务到k8s容器云平台中,已注册的其他CRD资源的控制器对计算任务进行处理;从而达到减少了资源的占用的目的。
-
-
-
-
-
-
-
-
-