-
公开(公告)号：CN118567791B
公开(公告)日：2024-10-22
申请号：CN202411044021.3
申请日：2024-07-31
Applicant: 之江实验室
Abstract: 本说明书提供的一种缓存方法、装置、存储介质以及电子设备，首先确定执行分布式模型训练任务所需的目标容器，以及，确定目标容器中训练程序执行分布式模型训练任务所需的目标训练数据集的路径信息，将路径信息与预设的缓存表中包含的各路径信息进行匹配，以判断目标训练数据集是否被缓存，若是，则从缓存表中确定出缓存目标训练数据集的计算节点的节点信息，以从缓存目标训练数据集的计算节点中获取目标训练数据集，并通过目标容器执行分布式模型训练任务，若否，则根据路径信息，从云端获取目标训练数据集，以通过获取的目标训练数据集，执行分布式模型训练任务。
-
公开(公告)号：CN118378726B
公开(公告)日：2024-09-20
申请号：CN202410830397.0
申请日：2024-06-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备，可以通过前向梯度传播的方式，即，在前向传播过程中，针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值，计算该网络层的梯度值，并基于该网络层的梯度值对该网络层的模型参数进行调整，从而可以使得在通过中央处理器确定每层网络层的模型参数后，即可将上一层网络层的输出值以及该网络层的梯度值删除，进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。
-
公开(公告)号：CN118394607B
公开(公告)日：2024-09-03
申请号：CN202410849946.9
申请日：2024-06-27
Applicant: 之江实验室
Abstract: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备，包括：获取各服务器的核心芯片的硬件温度，将各硬件温度输入各服务器对应的预先训练的服务器告警模型，确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度，并将各第一状态和各环境温度输入预先训练的集群告警模型，确定计算集群对应的告警状态，并根据告警状态，对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型，自动化判断服务器的状态，以及通过具有可解释性的多规则的集群告警模型，自动化判断计算集群的告警状态，从而自动化对计算集群的温度进行监测，以避免计算集群的温度出现异常，以防硬件受损或系统崩溃。
-
公开(公告)号：CN118396140A
公开(公告)日：2024-07-26
申请号：CN202410849948.8
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。
-
公开(公告)号：CN118378726A
公开(公告)日：2024-07-23
申请号：CN202410830397.0
申请日：2024-06-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备，可以通过前向梯度传播的方式，即，在前向传播过程中，针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值，计算该网络层的梯度值，并基于该网络层的梯度值对该网络层的模型参数进行调整，从而可以使得在通过中央处理器确定每层网络层的模型参数后，即可将上一层网络层的输出值以及该网络层的梯度值删除，进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。
-
Patent Agency Ranking
公开(公告)号：CN117666968B
公开(公告)日：2024-06-28
申请号：CN202311759362.4
申请日：2023-12-20
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本发明公开了一种固态盘存储系统的选择性数据压缩方法及装置，该方法是在固态盘存储系统上设置压缩位图表和三个功能模块：负载监测模块、数据压缩模块和数据解压缩模块，由请求类型判断步骤、数据的压缩写入步骤和数据的解压缩读取步骤组成。根据系统的当前负载和CPU计算资源状态，该方法充分利用存储系统中数据的冗余特性和固态盘的闪存介质特性，通过利用动态的数据压缩技术减少冗余信息，减少写入数据量，以此缓解固态盘读写性能不对称的问题，同时提升固态盘的空间利用率和可靠性。
-
公开(公告)号：CN117009534B
公开(公告)日：2024-02-13
申请号：CN202311281379.3
申请日：2023-10-07
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/289 , G06F40/216
Abstract: 本申请涉及一种文本分类方法、装置、计算机设备以及存储介质。所述方法包括：对文本分类数据集进行分词处理，确定目标语义单元序列；根据目标语义单元序列构建样本数据集；将有标签数据集分别输入学生模型和标签训练教师模型，确定第一学生预测数据和第一教师预测数据，并将无标签数据集分别输入学生模型和对抗训练教师模型，确定第二学生预测数据和第二教师预测数据；根据第一学生预测数据、第一教师预测数据、第二学生预测数据和第二教师预测数据对所述学生模型进行参数调整，确定文本分类模型；将待分类文本输入所述文本分类模型，根据文本分类模型的输出结果确定待分类文本的文本分类标签。上述方法提高了文本分类的准确性。
-
公开(公告)号：CN117032936B
公开(公告)日：2024-02-06
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算
-
公开(公告)号：CN116991429B
公开(公告)日：2024-01-16
申请号：CN202311266395.5
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F8/41 , G06F18/214
Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质，其中，该编译调优方法包括：选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列，对每种样本程序与优化序列的组合进行编译、特征抽取以及运行，得到训练数据集，基于训练数据集对预设的多任务学习模型进行训练，得到预训练模型，基于预训练模型进行成本函数模型的初始化，得到目标成本函数模型，利用该目标成本函数模型对目标源程序进行调优，得到目标源程序的最优优化序列。通过本申请，解决了相关技术中计算机程序编译调优效率低下的问题，提高了计算机程序的编译调优效率。
-
公开(公告)号：CN117372713A
公开(公告)日：2024-01-09
申请号：CN202311286450.7
申请日：2023-10-08
Applicant: 之江实验室
IPC: G06V10/44 , G06V10/25 , G06V20/64 , G06N3/0495 , G06N3/0464 , G06N3/082
Abstract: 本发明公开了一种基于通道剪枝的单目三维目标检测方法及装置，该方法是通过预处理将三维雷达点云数据编码到BEV图中作为输入，利用卷积神经网络模型进行特征提取及目标检测，并采用通道剪枝方案大幅减少模型参数和计算量，从而实现模型的精简、推理速度的提高及检测性能的优化。此外，本发明所提出的方法还保持了原有三维目标检测模型的准确性和稳定性，并适用于单目三维目标检测任务。该发明在自动驾驶、智能机器人、视频监控等领域具有广泛应用前景。
-
-
-
-
-
-
-
-
-
Search Results
165
records
(took 0.093 seconds)
